所有文章 > 正文

ACL 2019 | 使用表达改写提升多轮对话系统效果

作者: 徐家兴

时间: 2019-08-13 17:07

本文提出了一种重写人类表达的预处理方法用于改善多轮对话模型的效果。首先重写每个表达以恢复所有指代以及省略的信息。然后基于重写的表达执行下一个处理步骤。为了正确训练表达重写器,本文收集带有人工标注的新数据集,并使用指针网络引入基于transformer的表达重写架构。本文的方法在表达重写任务中实现了非常好的性能。 经过培训的表达重写器可以很容易地集成到在线聊天机器人中,并在不同的领域带来全面的改进。

本文作者:徐家兴

作者学校:北京航空航天大学

研究方向:对话系统

作者简介:http://angusmonroe.cn/

前言:本文将对 ACL2019论文《Improving Multi-turn Dialogue Modelling with Utterance ReWriter》进行解读,这篇论文构建了一个高质量的中文对话改写数据集用于指代消解和信息不全,同时提出了一种表达改写模型。

论文地址:https://arxiv.org/pdf/1906.07004.pdf

源码地址:源码及数据集尚未公开

论文作者:Hui Su, Xiaoyu Shen, Rongzhi Zhang, Fei Sun, Pengwei Hu, Cheng Niu and Jie Zhou

论文背景

最近的一些研究在单轮对话的模型上有很大的进展,但对于多轮对话来说,现有的模型仍不能令人满意。其中一个主要的挑战就是指代消解和信息省略,本文提出了一种重写人类表达的预处理方法用于改善多轮对话模型的效果。首先重写每个表达以恢复所有指代以及省略的信息。然后基于重写的表达执行下一个处理步骤。为了正确训练表达重写器,本文收集带有人工标注的新数据集,并使用指针网络引入基于transformer的表达重写架构。本文的方法在表达重写任务中实现了非常好的性能。 经过培训的表达重写器可以很容易地集成到在线聊天机器人中,并在不同的领域带来全面的改进。

a1.png

论文模型

数据集中每一个例子可以表示为(H,U_n→R),其中H={U_1,U_2,…,U_{n-1}}表示包括前n-1轮对话的对话历史,R是U_n重写之后的表示,如果没有检测到共指或省略,则R与U_n是相同的。模型的目标是学习映射函数p(R|(H,U_N)),使得重写器可以基于H对U_n进行重写。第一步是将(H,U_n)编码为一个向量,然后使用指针网络对R进行解码。

a2.png

在编码器中,(H,U_n)被展开为(w_1,w_2,…,w_m),m是整个对话中词的个数,然后将这个序列传入transformer,transformer通过自注意机制学习其中的共指信息,对于每个词w_i,输入嵌入是词嵌入、位置嵌入和轮数嵌入:

a3.png

其中轮数嵌入TE(w_i)表示这个词所属的对话轮数,L堆叠编码器以获得最终编码表示。 每个编码器包含一个自我关注层,后跟一个前馈神经网络:

a4.png

FNN是一个前馈神经网络,MultiHead(Q,K,V)是多头注意函数,以查询矩阵Q,密钥矩阵K和值矩阵V作为输入。每个自我关注和前馈组件都带有残余连接和层标准化步骤,最终编码是第L编码器E^(L)的输出。

模型的解码器也包含L层,每层由三个子层组成,第一个子层是多头注意力层:

a5.png

其中D^(0)=R,第二个子层是编码器-解码器注意力,其将E^(L)集成到解码器中。在该任务中,由于H和U_n用于不同的目的,对来自对话历史H的词和来自U_n的词使用单独的键值矩阵。从最后部分获得的编码序列E^(L)被分成E^(L)_H(来自H的词的编码)和E^(L)_Un(来自Un的词的编码),然后单独处理。编码器-解码器向量计算如下:

ar6.png

第三个子层是一个全连接的前馈神经网络:

a7.png

其中表示向量连接。

论文实验

本文以基于生成的模型、基于指针的模型、指针+生成混合模型作为基线模型,从指代消解信息补全的效果以及处理过的数据集在对话系统任务的效果两个方面对表达改写的表现进行评估。

a8.png

a9.png

如上图所示,本文提出的表达改写方法在上述两个方面均取得了最佳表现。经过改写后,无需查看上下文即可生成问题的回答,该方法对于任务导向型对话系统和闲聊型对话系统均有效果提升,实现了用更成熟的单轮对话技术解决多轮对话问题。

a10.png

结论

本文提出了独立的话语重写器来改进多轮对话建模。训练重写器以恢复用户话语中和省略的信息。为此收集了一个高质量的手动注释数据集,并设计了一个基于变换器指针的架构来训练话语重写器。经过训练的话语重写器表现得非常好,重写器被集成到了两个在线聊天机器人应用程序中,显著改善了意图检测和用户参与。

参考文献

Su H, Shen X, Zhang R, et al. Improving Multi-turn Dialogue Modelling with Utterance ReWriter[J]. arXiv preprint arXiv:1906.07004, 2019.

推荐阅读 更多