所有文章 > 正文

ACL 2020 | NeuInfer:基于主从结构的多元关系推理

作者: Saiping Guan

时间: 2020-08-03 13:35

本文探索了多元关系数据的主从表达形式,并提出了基于主从结构的多元关系推理模型。

论文题目:NeuInfer: Knowledge Inference on N-ary Facts

作者:Saiping Guan, Xiaolong Jin, Jiafeng Guo, Yuanzhuo Wang, and Xueqi Cheng

机构:中国科学院大学计算机科学与技术学院;中国科学院计算技术研究所网络数据科学与技术重点实验室

收录会议:ACL 2020

1 背景

近年来,知识图谱上的知识推理得到了广泛关注。这些工作关注于二元关系推理,其中,数据用(头实体,关系,尾实体)形式的三元组表达。二元关系推理旨在给定三元组中的任意两个元素,推理另一个缺失元素。

在实际应用中,多元关系很普遍,例如:“John Bardeen received Nobel Prize in Physics in 1956 together with Walter Houser Brattain and William Shockley”是一条典型的五元关系数据。类似于二元关系推理,多元关系推理通常是给定多元关系数据中的其他元素,推理另一个缺失元素。然而目前针对多元关系推理的研究工作还很少。

2 动机

目前,为数不多的几篇关于多元关系推理的工作,将每条多元关系数据用一组同等地位的属性-值对进行表达。实际上,在每条多元关系数据中,通常存在主从结构,即存在一对主要的属性,它们和对应的属性值构成(头实体,关系,尾实体)主三元组,是该多元关系数据的关注重点。而该多元关系数据中的其他属性及其属性值可以看成主三元组的辅助描述信息。在上述例子中,主三元组为(John Bardeen, award-received, Nobel Prize in Physics),其他属性-值对point-in-time:1956together-with:Walter Houser Brattaintogether-with:William Shockley是主三元组的辅助描述。

另一方面,上述五元关系数据相对比较完整,在实际应用场景中,许多多元关系数据只包含部分信息,即:主三元组和辅助描述子集。该文提出partial fact的概念来模拟这种情况。为了区分,该文将原多元关系数据称之为whole fact,whole fact导出的多元关系数据(由对应的主三元组和辅助描述子集构成)称之为partial fact。现有多元关系推理工作关注于推理whole fact中的一个缺失元素(简单推理),未关注partial fact上的推理(灵活推理)。

基于上述考虑,该文区分参与多元关系数据的属性-值对的主次,将每条多元关系数据用对应的一个主三元组及其辅助描述属性-值对集合表达,进一步提出基于主从结构的多元关系推理模型NeuInfer,处理上述简单推理和灵活推理。

3 NeuInfer模型

NeuInfer将多元关系推理转化为判断输入的多元关系数据是否有效,其框架如图1所示。模型的设计基于以下两个方面的考虑:一方面,对于有效的多元关系数据,不管有没有辅助描述信息,主三元通常是有效的;另一方面,每个辅助描述属性-值对作为主三元组某方面特征的描述,需要和主三元组兼容。因此,NeuInfer包含两个主要模块,即主三元组的有效性度量和主三元组及其辅助描述属性-值对的兼容性度量。由于全连接网络被广泛用于度量对象之间的关联性,这里采用全连接网络得到有效性特征向量、兼容性特征向量,并进一步采用全连接层分别得到有效性得分和兼容性得分。最终判断多元关系数据有效与否的得分为上述有效性得分和兼容性得分的加权和。

1-731-L9yIpWtAwX.png

图1 NeuInfer模型框架图

值得一提的是,在兼容性度量模块,主三元组及其每个辅助描述属性-值对都会得到一个兼容性特征向量,该文采用逐元素取最小操作得到全局兼容性特征向量。这基于以下考虑:直观地,如果一条多元关系数据有效,那么主三元组和其中的任意辅助描述属性-值对兼容。也就是说,它们兼容性特征向量的数值,从很多不同的角度衡量兼容性,都需要很大。这样,对于每个维度,主三元组和每个辅助描述属性-值对得到的所有兼容性特征向量在该维的最小值都不能太小。

4 实验

该文在两个多元关系数据集JF17K和WikiPeople(我们在WWW 2019工作[1]中发布的数据集)上进行了多元关系简单推理和灵活推理实验,实验结果如表1-3所示。实验结果充分展示了NeuInfer的优势。特别地,在多元关系简单实体推理实验中,NeuInfer显著优于对比方法,在JF17K的Hits@3指标上,相比于最好的对比方法提升了16.2%。如图2所示的消融实验结果也证明了NeuInfer各个模块的必要性。

2-731-xjUo1IpdI0.jpg

表1 简单实体推理实验结果

3-731-BWjgt4I4ok.jpg

表2 简单关系推理实验结果

4-731-CJWrgPz8pS.jpg

表3 灵活推理实验结果

5-731-c4gXip7T8H.png

图2 消融实验结果

为了进一步分析NeuInfer的有效性,表4展示了在二元和n元(n>2)数据上的简单实体推理实验结果。从表中可以看到在简单的JF17K数据集上,NeuInfer一致性地好于对比方法;在更难的WikiPeople数据集上,NeuInfer在二元数据上的效果和对比方法差别不大,但在n元数据上的细粒度MRR和Hits@1指标上,比对比方法好很多。

6-731-lolTcotJME.jpg

表4 二元和n元(n>2)数据上的简单实体推理实验结果

上述性能提升是来自头/尾实体推理还是属性值推理呢?从表5和6可以看到性能提升主要来自属性值推理。

7-731-1LCWyStdsb.jpg

表5 头/尾实体推理的详细实验结果

8-731-VSfO2jf0yW.jpg

表6 属性值推理实验结果

[1] Saiping Guan, Xiaolong Jin, Yuanzhuo Wang, and Xueqi Cheng. Link Prediction on N-ary Relational Data. Proceedings of the 28th International Conference on World Wide Web (WWW 2019). 2019: 583-593. [Code] [Dataset].


相关阅读

你关心的这些CCF A类会议,AMiner都替你备好了!

ACL 2020 | ScriptWriter: 基于给定情节的电影台词生成

KDD 2020 | 缓解异质信息网络中冷启动问题 so easy?来看看 MetaHIN 模型

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

推荐阅读 更多