所有文章 > 正文

ACL 2019 | 利用不完全知识库结合文本阅读提高问答系统效果

作者: 温清华

时间: 2019-08-30 14:04

本文提出了一个新的端到端问答(QA)模型,该模型通过结合不完整知识库的信息与一些文本检索信息,获得相关问题的答案。模型基于这样的假设:结构化知识库更容易查询以及从中获取的知识有助于非结构化文本的理解运用。模型首先从与问题相关的知识库子图中收集相关实体的知识,然后在隐空间中重述问题,用已获得的实体知识进一步阅读检索文档文本,最终聚合知识库中和文本中的证据信息来预测问题答案。模型数据集来源于WebQSP,论文中模型实现了以下目标,在不完整度不同的知识库条件下,稳定提升了对此QA任务的效果。

论文题目:Improving Question Answering over Incomplete KBs with Knowledge-Aware Reader

论文作者:WenhanXiong,MoYu,ShiyuChang,XiaoxiaoGuo,WilliamYangWang

论文地址:https://www.aclweb.org/anthology/P19-1417

论文背景

知识库通常被看作问答系统的必要信息源,但是准确而完整的知识库的构建常常花费大量人力物力,面向开放领域的问答需要更多知识库的支持,而这些知识库往往不够完整。另外,互联网上大量非结构化文本可以很好的囊括所需的跨领域知识。因此,结合知识库与文本信息可以直接提高知识库信息的完整度。论文提出的端到端模型便是基于非完整的知识库与非结构化文本的聚合进而提升问答系统答案的准确预测。

0830-1.png

图表 1: 来自WebQSP的真实例子。图上的问题无法通过知识库KB直接得到,但是利用KB中的知识(cam plays football),可以定位到文档(plays for)中进行查找,进而获得最终答案。

论文模型

屏幕快照 2019-08-30 下午2.32.15.png

为了建立一个可扩展的系统,该模型参考了Sun等提出的方法【1】并且只考虑一个子图对应一个问题的情况。子图由问题中主题实体利用PageRank算法【2】而得到,文档集由现有的文档获取器(chen等)【3】得到,文档中实体进行注释并与知识库实体进行链接,对于每个问题,模型将从包含所有知识库及文档实体的候选集中产生答案。模型组成主要有两个部分,基于图注意力的知识图谱阅读器和基于知识的文本阅读器。两者之间的联系如下:

0830-2.png

图表 2:模型概图 子图阅读器a)首先利用图注意力网络收集与问题相关的实体信息。学习到的实体知识将被传递给文本阅读器b),从而进一步重述问题表示并对文本阅读器反馈信息进行编码。最终,文本信息与知识库子图信息结合预测问题的可能性答案。

屏幕快照 2019-08-30 下午2.34.29.png

论文实验

数据集:该实验基于WebQSP数据集。

Baseline和评估标准:通过结果表格对比发现,该模型阅读器达到的效果要优于baseline方法结果。SGReader+KAReader明显效果更好。

0830-4.png

图表 3: 在不同知识库完整性设定下与Baseline的结果对比,基于参考考虑,表中列出了信息覆盖率100%的知识库条件下的结果。SGReader列出了只用知识库(KB)信息情况下的结果。可以看到,在知识库不完全的情况下,SGReader的结果要优于先前的方法(KV-KB、GN-KB)。在结合了KAReader后,与其他优秀的KB-QA模型相比,论文模型结果在不完全知识库条件下依然有较大提升,这表明了文本阅读器的优势。

0830-5.png

图表 4:为了研究每个KAReader组件的效果,表中列出低于30%完整性知识库设定条件下的分析。此外,发现论文中提出的条件门控机制非常重要。当使用标准的gate函数替换它时(见行w/o条件知识门),性能甚至比没有知识增强的阅读器还要低,这表明论文提出的新的gate函数对于成功地进行知识感知文本阅读至关重要。

结果分析

该论文提出了一种新的QA模型,该模型通过结合信息不完整的知识库和文本文档来回答开放领域的问题,与以前的方法相比,该模型在知识库信息不完整的情况下,稳定提升了对WebQSP数据集的测试效果。结果表明:(1) 利用图注意力机制技术,可以在对知识库子图遍历一次的条件下,高效、准确地为知识库中的每个实体聚合问题相关的知识;(2)论文中设计的门控制机制在处理文本文档时可以成功地糅合已编码的实体知识。在未来的工作中,作者提出将把这个想法扩展到其他具有多模态证据信息的QA任务中。

参考文献

[1] Sun H, Dhingra B, Zaheer M, et al. Open domain question answering using early fusion of knowledge bases and text[J]. arXiv preprint arXiv:1809.00782, 2018.

[2] Taher H Haveliwala. 2002. Topic-sensitive pagerank.In Proceedings of the 11th international conference on World Wide Web, pages 517–526. ACM.

[3] Danqi Chen, Adam Fisch, Jason Weston, and Antoine Bordes. 2017. Reading wikipedia to answer open-domain questions. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL 2017, Vancouver, Canada, July 30 - August 4, Volume 1: Long Papers, pages 1870–1879.

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多