ICDE2020|基于深度学习的关系抽取

  磐创AI分享   

来源 | 机器学习blog

作者 |  FrankLearningMachine

Improving Neural Relation Extraction with Implicit Mutual Relations

Jun Kuang, Yixin Cao, Jianbing Zheng, Xiangnan He, Ming Gao, Aoying Zhou

East China Normal University, Shanghai, National University of Singapore, University of Science and Technology of China

http://staff.ustc.edu.cn/~hexn/papers/icde20-NRE.pdf

关系抽取旨在从文本语料中抽取两个实体间的关系。关系抽取在构建知识图谱中起着至关重要的作用。

大多数现有方法预测实体对的关系依赖于从训练句子中来学习这种关系，这里的训练句子包含目标实体对。

远程监督方法的缺陷在于抽取关系没有充分的训练语料，作者们所提方法不同，该方法可以从大量无标签语料中挖掘隐含相互关系，它可以将实体对的语义信息转换为关系抽取模型，这种模型表达力更强，而且语义上可信。

基于隐含相互关系构建实体邻近图之后，作者们将图中的每个节点映射到低维空间中，同时能够保持实体对之间的语义关系。进而能够将隐含相互关系跟其他实体信息，比如实体类型，简单灵活的集成到现有实体关系抽取方法中。

作者们在纽约时报和谷歌远程监督数据集中进行了实验，结果表明，作者们所提出的神经关系抽取框架对关系抽取任务的效果带来客观的提升，显著优于STOA方法。此外，挖掘隐含相互关系比较灵活，该元素能够对基于CNN和基于RNN的关系抽取模型带来显著提升。

现在的问题主要在于样本不足，比如

另外一个问题即为噪声数据，比如

这篇文章的主要贡献在于

远程监督学习方法有一定的缺陷

目前基于神经编码的几种方法有以下几种

缓解噪声问题的方法有以下几种

比如注意力机制

强化学习也可以用于缓解噪声问题

此外，对抗学习也可以用于缓解噪声问题

这篇文章的网络结构如下

其中主要包含四个部分

1. 构建实体邻接图

2. 实体类型嵌入

3. 基于句子级别的注意力PCNN

4. 隐含相互关系及实体类型融入RE

其中 构建实体邻接图  有三个步骤

实体邻接图示例如下

实现细节如下

邻接图的权重计算方式如下

一阶邻接定义如下

二阶邻接的目标函数如下

实体的相互关系定义如下

实体类型嵌入的细节如下

句子嵌入及编码方式如下

句子级别的注意力形式如下

相互关系的计算公式如下

最终的计算公式如下

数据集描述如下

下面是对数据集进行表格形式的汇总

评价指标如下

参数设置范围如下

下面是最优参数

下面是几种参与对比的方法

结果如下

作者们所提出的方法比较灵活，如下图

对于不同的共现频率，效果变化及对比如下

个例示例如下

– End –

PyTorch 自然语言处理实战课程开课啦。

课程内容包括：聊天机器人，文本分类，文本生成，机器翻译。手把手带你实现课程中的项目，赠送完整课程讲义和项目代码。

扫码立即领取磐创AIer50元优惠券

:point_down::point_down::point_down:

✄————————————————

看到这里，说明你喜欢这篇文章，请点击「 在看 」或顺手「 转发 」「 点赞 」。

欢迎微信搜索「 panchuangxx 」，添加小编 磐小小仙 微信，每日朋友圈更新一篇高质量推文（无广告），为您提供更多精彩内容。

▼   ▼     扫描二维码添加小编   ▼    ▼