少样本文本分类的多任务原型网络

少样本文本分类中,原型网络对语义利用不足、可迁移特征挖掘不够,导致模型泛化能力不强,在新任务空间中分类性能不佳.从模型结构、编码网络、度量网络等角度提高模型泛化性,提出多任务原型网络(multi-ple-task prototypical network,MTPN).结构上,基于原型网络度量任务增加辅助分类任务约束训练目标,提高了模型的语义特征抽取能力,利用多任务联合训练,获得与辅助任务更相关的语义表示.针对编码网络,提出LF-Transformer编码器,使用层级注意力融合底层通用编码信息,提升特征的可迁移性.度量网络使用基于BiG-RU的类原型生成器,使类原型更具代表性,距离度量更加准确.实验表明,MTPN在少样本文本情感分类任务中取得了 91.62％的准确率,比现有最佳模型提升了 3.5％以上;在新领域的情感评论中,基于五条参考样本,模型对查询样本可获得超过90％的分类准确率.