所有文章 > 正文

ICLR 2020 | 知识图谱推理框架:基于向量空间的推理和数值逻辑推理

作者: Unicorn

时间: 2020-05-02 15:35

2篇ICLR 2020 推理主题论文解读

ICLR专题

知识图谱作为人类知识的载体,蕴含着丰富的语义知识,因此支撑着许多上游的应用,例如问答,推荐等。基于知识图谱的推理作为知识图谱问答的基础,也是有着不同的解决框架,本文解读了两篇不同框架的论文:一篇是基于知识图谱的向量嵌入技术,完全基于向量操作进行推理演算;另一篇是基于Neural Logic Programming框架,并进一步解决了数值推理的问题。

1,Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings

(ICLR 2020, Poster)

Hongyu Ren, Weihua Hu, Jure Leskovec

Code

随着知识图谱向量嵌入的技术发展,衍生出了另一种基于向量的知识图谱推理方法,与之前的Neural-LP(Neural Logic Programming)类似的推理框架不同,这一推理框架将问题和实体都表示成低维向量,随后通过向量计算实体与问题的相似度,从而选取相似度较高的实体作为问题的答案实体。然而,之前的方法都是把问题表示为单个向量,但较为复杂的问题可能具有多个答案实体,所以将这种复杂问题表示成语义单一的单个向量明显是不合理的。本文提出了一种Box Embedding的思想,将问题表示成向量空间中的具有一定空间范围的box,这样的query box中就可以自然的包括所有答案实体,充分表示了复杂问题的语义信息。

具体来说,box embedding是由中心向量和偏移向量所组成,覆盖向量空间中的一定范围,所以,问题中的源实体也可以看成一种偏移量为零的特殊box,通过一系列的逻辑向量操作,就可以得到最终的包含答案实体的box。首先文中定义了合取式的逻辑向量操作,认为合取式都可以用俩种逻辑操作:Projection,Intersection来表示。Projection表示KG中的关系映射,也是由中心向量和偏移向量所组成;Interaction表示多个box embedding的交集,如下图所示:

query1.png

最终通过比较实体向量与最后得出的box的距离(Distance),就可以得到答案实体。

随后,又进一步加入了逻辑的析取表达。文中证明,若将析取也定义成与合取类似的逻辑向量操作的情况,那么生成的不同问题数量跟知识图谱的实体数目是成正比的,这将使模型很难泛化到大规模知识图谱中。所以文中提出将问题转换成一种由多个合取所组成的析取范式框架(Disjunctive Normal Form),将析取定义成对所有合取结果的最后一步合并操作,如下图:

query2.png

这样就可以以一种温和的方式引入析取表达,扩大了模型的表达能力。

模型系统地在三个标准的知识图谱(FB15K,FB15K-237,NELL995)进行了评测,并与另一个相关的baseline GQE (Hamilton et al., 2018)进行了对比:

query3.png

p(Projection), i(Intersection),u(Union) 代表不同的问题组成。 实验结果表明Q2B在所有情况下都显式的优于Q2E,体现出Box embedding的有效性。


2,Differentiable learning of numerical rules in knowledge graphs

ICLR 2020 (Poster)

Po-Wei Wang, Daria Stepanova, Csaba Domokos, J. Zico Kolter.

先前的基于Neural-LP(Neural Logic Programming)框架的模型一般只能在由<实体,关系,实体>组成的知识图谱结构谓词上进行推理,而不能解决涉及到实体属性数值方面的问题,例如“比A年长的人是谁?”本文是在Neural-LP框架上进行了拓展,加入了数值推理的逻辑,解决了数值比较,属性聚合以及求反等三个方面的推理。

具体来说,文中把实体属性的数值比较也定义了成了一种谓词操作:

query4.png

其中,p, q表示待比较的属性,这样就可以自然的将属性谓词使用类似于Neural-LP的谓词矩阵运算来实现。但是与关系谓词不同,属性谓词矩阵通常是稠密的,因为属性在实体上较为通用,而稠密矩阵的相乘复杂度特别高,所以文中定义了一种排序正则化的思路,将矩阵相乘转化为排序后的累加,极大地降低了复杂度。有了之前的定义,求反操作就比较容易得出,即对于之前得到的属性谓词矩阵的每一维取非(0->1, 1->0),但会遵循Local Closed-world Assumption(LCWA),即至少有一个非0值的行才会取非。

基于定义的数值比较和求反操作,通过在之上施加聚合函数 F 去达到多个属性操作聚合作用的效果,例如下面一条逻辑表达式:

query6.png

其中 F 代表的聚合操作就是由俩种基础的属性比较操作的某种联合作用,聚合函数可用任意的神经网络来替换,文中使用了简单的MLP。

模型系统地在两个标准的知识图谱(FB15K-237-num, DBP15K-num)上进行了评测,并且为了体现出数值推理的作用,文中又构造了俩个富含属性信息的数据集Numerical-1/2,实验结果如下:

query5.png

实验结果可以看出,本文基于Neural-LP拓展出的方法Neural-Num-LP在自造的数据集上,达到了一种很好的效果,而另外俩个相关的baseline因为没有加入数值推理的逻辑,所以效果不行;同时,在俩个标准知识图谱上,Neural-Num-LP也能达到一个较好的效果,体现出框架的一方面很好的保存了关系推理的功能,又较好的建模了数值推理的逻辑。

参考文献:

[1] Will Hamilton, Payal Bajaj, Marinka Zitnik, Dan Jurafsky, and Jure Leskovec. Embedding logical queries on knowledge graphs. In Advances in Neural Information Processing Systems (NeurIPS), pp. 2027–2038, 2018.

相关阅读:

ICLR 2020 | 小桃无主,轻带晚鸦---从逻辑表达视角看GNN

ICLR 2020 | PairNorm: Tackling Oversmoothing in GNNs

ICLR 2020 | 预训练图神经网络模型

ICLR 2020 | 探索新的图表征学习思路

ICLR 2020 | NLP预训练模型的全新范式:对比学习

ICLR 2020 | 互信息视角下的表征学习

ICLR 2020 | 反事实因果理论如何帮助深度学习?

ICLR 2020 | 浅谈GNN:能力与局限

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

ICLR 2020 | 基于谱方法的高效多级图嵌入框架

ICLR 2020 满分论文解读| 一种镜像生成式机器翻译模型:MGNMT

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

推荐阅读 更多