论文浅尝 | DRUM：一种端到端的可微的知识图谱上的规则学习方法

论文笔记整理： 张文，浙江大学在读博士，研究方向为知识图谱的表示学习，推理和可解释。

现有的多数链接预测方法都不能处理新的实体，并且多为黑盒方法，使得其预测结果无法解释。本文提出了一种新的端到端的可微的知识图谱上的规则学习方法 DRUM 来解决这两个问题。

本文学习的规则形式如下：

其中 B 表示规则的 body ， H 表示规则的 head ， DRUM 的目标是学习规则对应的置信度 α ，一般可将规则推理的过程转换为向量之间的计算如下：

其中矩阵 A_Bk 表示关系 Bk 的邻接矩阵， 是当前规则的置信度，由于此式的参数量较大且规则的结构不可提前知晓，可将其改写为：

为了使得模型拥有能力学习变长的规则，可以引入一个特殊的关系 B0 其邻接矩阵为单位阵 I 。同时作者证明了在这种规则计算方法下不可避免会学习到置信度较高但错误的规则，为了解决这个问题， DRUM 中引入了置信度张量 (confidence value tensor), 并将计算改写为：

作者证明了上面的表达式有足够的能力学习任意的规则。 A_jik 不是直接学习的参数而是通过双向 LSTM 加全连接层生成的，如下：

实验部分作者做了三类实验，包括四个数据集上的统计关系学习，知识图谱补全包括 inductive 链接预测，规则的质量以及可解释评估。实验结果如下：

从实验结果中可以看出 DRUM 相较于可比较的方法 NeuralLP 在几个任务上都有明显提升，并且能产生更准确的规则。

欢迎有兴趣的同学阅读原文。

https://papers.nips.cc/paper/9669-drum-end-to-end-differentiable-rule-mining-on-knowledge-graphs.pdf

OpenKG

开放知识图谱（简称 OpenKG）旨在促进中文知识图谱数据的开放与互联，促进知识图谱和语义技术的普及和广泛应用。

点击 阅读原文 ，进入 OpenKG 博客。