所有文章 > 正文

ICLR 2020 | 一种高效、表达能力强的可微分归纳逻辑推理模型

作者: Unicorn

时间: 2020-04-23 13:03

关键词: ICLR,神经网络,归纳逻辑学习模型,逻辑推理

本文提出一种高效的基于神经网络的归纳逻辑学习模型(Neural Logic Inductive Learning, NLIL)。

阅读原文:Learn to Explain Efficiently via Neural Logic Inductive Learning

论文作者:Yuan Yang & Le Song

ICLR专题:ICLR 2020 (Poster)

深度学习广泛应用于各种研究领域以及生产环境,为人类带来极大的收益和便利。但是现有的深度学习的可解释性不强,人们只知道它的结果是什么,却不知道为什么得出这样一个结果。所以人们逐渐将目光投向模型的可解释性的问题。推理就是其中一个火热的研究方向。

一种应用广泛的推理框架称为归纳逻辑推理程序(Inductive Logic Programming, ILP),它通过规则的硬匹配以及遍历的搜索流程去逐步搜索出满足条件的逻辑范式,但是效率太低,表达能力差,而且对噪音数据的容忍性小。后来一些工作提出了可微分的ILP模型,去利用神经网络的学习能力自主的去学到一些泛化性较强的逻辑范式,但是大多模型只能学出一阶逻辑谓词的线性组合范式,表达能力也十分有限,而且基于具体的数据,导致泛化性能不理想。

本文提出一种高效的基于神经网络的归纳逻辑学习模型(Neural Logic Inductive Learning, NLIL),它首先将逻辑谓词转换为一种谓词操作,进而将所有的中间变量转化为首尾实体的谓词操作表示,而这样的首尾变量在具体实现时可用随机初始化的向量表示,这样就摆脱了数据依赖;随后这样一个个谓词操作组成了逻辑范式的原始表达单位,这样就极大的拓展了逻辑谓词的表达能力,从只能表达链式的逻辑规则拓展到树形,以及规则之间的合取模式。

learn1.png

接下来,NLIL模型又将一个个原始表达单位使用逻辑连接词组合起来(与,或,非),这样又进一步的扩展了生成的逻辑范式的表达能力。

learn2.png

在实现上,NLIL模型使用了分层的transformer模型去高效的计算中间的待学习参数,包括逻辑谓词的向量以及相应的注意力机制的参数。

learn3.png

在实验设置上,本文首先以知识图谱补全任务为背景,在三个知识图谱(ES,FB15K-237以及WN18)上对NLIL模型的效果和效率都做了细致的评估:

learn4.png

learn5.png

从表中可以看出,NLIL模型在效果和效率上都明显的好于相关的baseline。

同时,本文还使用了视觉领域的数据,以物体检测任务作为背景,将图片上的物体之间的关系抽象成小的知识图谱。

learn6.png

从实验结果可以看出,虽然基于丰富标签数据的监督学习方法达到了比较好的效果,但是NLIL仅仅利用稀疏的(0/1)标签就能达到匹敌的效果,甚至显著优于一种监督模型baseline的效果,进一步体现出了模型的有效性。

更多ICLR论文话题,可通过微信“Moonnn01”加入ICLR 2020 交流群讨论。

相关阅读:

ICLR2020 全析图来了!清华大学 AMiner 上线会议智图开放平台

ICLR 2020 全析解读:华人作者贡献60%,谷歌、卡内基梅隆和清华大学领跑前三

ICLR 高引华人榜单发布

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

扫码微信阅读
小科