基于多示例学习的长文档检索

随着互联网信息的爆炸式增长,文档检索已经成为自然语言处理的热点问题.对于长文本检索,使用传统的基于词频的表示方法往往忽略了文本的语义信息,而使用嵌入模型进行文本表示,受输入长度的影响,长文本通常会被截断,此外,一些相似度计算方法会受到文本长度的影响.针对上述问题,提出将多示例学习框架用于文档检索中,以语义相对完整的句子为单位对文本进行切分,将文本表示成包,句子作为示例,通过示例之间的相关性来计算包之间的相关性得分,并将该得分与使用传统文档级检索即将整个文档作为一个单示例计算出的相似度得分相结合,从而检索出相关文档.在Med数据集上的实验结果表明,基于多示例的检索方法能在一定程度上提高文档检索的性能.