基于不确定片段的检索增强命名实体识别框架

在中文命名实体识别领域,过去的工作侧重于通过外部词典来引入边界信息,从而在推理过程中能够处理未登录词.然而,现有方法使用基于统计的分词工具自动生成词典,分词质量较低,错误的分词结果为推理过程引入较多噪声,且更新词典意味着重新训练模型,代价高昂,这为使用通用文本知识提供了动机.该文提出了基于不确定片段的检索增强命名实体识别框架.该框架识别输人文本中模型不确定程度最高的实体级别文本片段,并基于不确定文本片段从外部知识库中进行检索,从而有效地获得相关的知识文本以消除输入样本的歧义.此外,该文提出知识融合模型,结合检索到的知识文本对不确定的样本进行推理.该文在四个公开基准数据集中进行实验,结果表明,该框架显著提高模型性能,F1值较基准模型平均提高1.21％.