ACL 2019开源论文 | 基于图匹配神经网络的跨语言知识图对齐

由于知识图谱中实体的上下文信息对于知识图谱对齐任务十分重要，在本文模型中引入主题实体图的结构，用来表示知识图谱中给定实体（话题实体）与它的邻居之间的关系。图二为主题图的样例。为了构建主题图，先建立与主题实体一跳相邻的邻居实体集合，用 表示。 然后从这个集合中任意选取两个实体对 ，若这 个实体对在知识图谱中存在关系使其直接相连，则在主题实体图中为这个实体对保留直接相连的有向边。

注： 在主题实体图中只保留边的方向，不包含边对应的关系的具体信息。 只有这样才可以使得模型具有较高的效率和较好的表现结果。

图匹配模型

图 2 给出了本文模型在对齐英文知识图谱与中文知识图谱中实体 LebronJames 的大体过程。首先分别构建出在两个知识图谱中的主题实体图分别为 G1 和 C2。然后用提出的图匹配模型去评估两个主题实体图是在描述同一个主题实体的可能性。匹配模型具体包含以下三层：

输入表示层： 这层的目的是通过 GCN 学习出现在主题实体图中的实体嵌入向量。 以生成实体 v 的嵌入向量为例，具体步骤如下：

1. 首 先用一个基于单词的 LSTM 将图中所有实体从名字转化成向量，进行初始化。 并用符号 表示实体 v 的初始化嵌入向量。

2. 对实体 v 的邻居实体进行分类，若该邻居实体通过指向实体 v 的边与 v 相连，则该实体属于集合 ，若该实体通过指向自己的边与实体 v 相连，则该实体属于集合 。

3. 通过运用一个聚合器，将指向实体 v 的所有邻居节点的表示 转化成一个单独的向量 ，其中 k 是迭代值。该聚合器将与节点 v 直接相邻的所有节点的向量表示，作为一个全连接层神经网络的输入，并运用一个均值池化操作来捕捉邻居集合中的不同方面特征，得到向量 。

4. 将 k-1 轮得到的指向实体 v 的邻居集合的表示 与新产生的 进行连接，并将连接后的向量放入全连接网络去更新指向实体 v 的邻居集合的表示，得到 。

5. 用与步骤（3）步骤（4）相同的方法在由实体 v 指出的邻居集合中更新由实体 v 指出的邻居集合的表示 。

6. 重复步骤（3）-步骤（5）K 次，将最终的指向实体 v 的邻居集合的表示与由实体 v 指出的邻居集合的表示进行连接，作为单个实体的嵌入向量。最终得到两组实体的嵌入向量的集合分别为 和 。

节点（局部）匹配层

在本层中，如图（2）所示，作者运用一个注意匹配方法将一个主题实体图的每个实体嵌入向量与另一个主题实体图的所有实体嵌入向量分别按照从 G1 到 G2 的顺序与从 G2 到 G1 的顺序进行比较。首先计算 G 1 中实体 与 G2 中所有实体 的 cosine 相似值。

然后，我们用这些相似点作为权重并通过对 G2  中所有实体嵌入向量加权求和的方式来计算整个图的关注向量。

通过对每一步匹配运用多角度 cosine 匹配函数 计算 G1  与 G2  中所有实体的匹配向量。

其中匹配函数具体如下：

是一个用于比较两个向量的多角度 cosine 匹配函数：

其中，v 1 与 v2表示两个维度为 d 的向量， 是一个可训练参数，l 是角度的数量，返回的 m 值是一个 l 维向量 m= 。 元素 是从第 k 个角度得到的匹配值。 这个匹配值是通过计算两个权重向量的 cosine 相似得到的。

符号 ° 表示对应元素相乘，Wk  表示矩阵 W 的第 k 行。 Wk  控制着第 k 个角度，并为 d 维空间中不同的维度分配不同的权重。

图（全局）匹配层： 这些匹配向量捕获了 G1 (G2) 中的每个实体如何被另一种语言的主题图匹配。 但是这种匹配只处于局部匹配阶段，不足以对图进行全局相似性计算。例如，有的实体在 G1  与 G2  中均几乎没有邻居实体。对于这种情况，仅进行局部信息的匹配很可能会将这两个本应对齐的实体判定为两个不同的实体。

为了解决上述问题，运用另一个 GCNs 使得局部信息可以在图中进行传播。直观地说，如果每个节点都表示为自己的匹配状态，那么通过在图上设计一个具有足够大的跳数的 GCN，就能够在整个图的对之间编码全局匹配状态。将上述所得的局部匹配结果向量输入到一个全连接神经网络中，并用 max pooling 或 mean pooling 生成一个合适长度的图匹配表示。

预测层

将图匹配表示作为一个双层前馈神经网络的输入，并在其输出层运用 softmax 函数。

为了训练模型，作者运用启发式方法对每个正确对齐的实体对 随机构建 20 个错误案例。也就是说首先通过对每个实体表面形式中预先训练的词的嵌入向量加和粗略生成 G1  和 G2  的实体嵌入向量。然后再粗略的在其嵌入空间中选取 10 个与实体 最近的实体，10 个与实体 最近的实体构建错误案例实体对。在测试过程中，当给定一个 G1  中的实体时，根据本文模型评估出的匹配可能性对 G2  中的所有实体进行可能性值的计算，并按降序对计算结果进行排序。