【ACL 2019】Matching the Blanks 预训练关系表示模型

不同数据集的测试集F1值

在Matching the blanks任务上预训练的Bert模型要优于原来的Bert模型，并且在三个有监督的关系抽取数据集上达到了SOTA的结果。

改变训练集每个关系类别样本数量得到的结果

如上表所示，在FewRel数据集上，未在训练集上fine-tune的Bert_em+MTB模型要优于之前SOTA模型。虽然在样本数量较多的情况下Bert_em与Bert_em+MTB表现接近，但Bert_em+MTB只需要很少量的样本便能够达到Bert_em的最好效果。

Matching the blanks预训练使得模型需要更少的标注样例进行fine-tune，更适用于少样本或少资源的场景。

参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprintarXiv:1810.04805.](https://www.aminer.cn/archive/5bdc31b417c44a1f58a0b8c2)

[2] Mintz, Mike et al. “Distant supervision for relation extraction without labeled data.” ACL/IJCNLP (2009).](https://aclweb.org/anthology/P09-1113)

学术头条已建立微信交流群，想进群的同学请加学术君微信：AMiner308，记得备注：名字+单位/学校噢！

分享干货

AMiner迄今为止已发布18期AI系列研究报告，您可在后台回复 对应数字 获取报告。

推荐阅读 （点击查看↓）

✦   ACL 2019论文| 将文本建模为关系图用于关系提取

✦  ACL 2019论文| 为知识图谱添加注意力机制

✦ 博世(Bosch)和戴姆勒(Daimler)获得全球首个L4级别自动泊车许可

✦ AI Time 4 | 论道数据共享开放与隐私保护

✦ AI Time 5 | 论道无人驾驶： 近在咫尺还是遥遥无期

微信公众号菜单栏为大家设置了 “论文推荐” 和 “优质分享” 专栏，欢迎大家关注。

您的转发就是我们最大的动力

点击阅读原文 查看更多AMiner学术文章