基于Soft-Masked BERT的新闻文本纠错研究

互联网时代的新闻宣传领域,每天都会产生海量的文本稿件,仅依靠人工进行校正,成本极高,效率低下.利用计算机辅助技术对新闻稿件进行审阅极大地提高了校稿效率,大大减少人力成本,进一步利用特定新闻领域语料集的深度学习模型,完成个性化定制,在该领域的纠错过程中可以取得更好的效果.文中使用一种全新的中文文本纠错模型理论:Soft-Masked BERT,该模型将中文文本的检错过程与纠错过程分离,纠正网络的输入来自于检测网络输出.文中旨在Soft-Masked BERT基础上进行改进并应用.使用"哈尔滨工业大学新闻网"新闻稿件中10000条文本序列(HIT News Site)作为初始语料进行训练,之后对该新闻网的相关稿件进行中文文本校对.结果表明,Soft-Masked模型在HIT News Site数据集上的整体性能表现优于BERT-Finetune,准确率提高0.6个百分点,精确率提高1.3个百分点,召回率提高1.5个百分点,F1分数提高1.4个百分点,效果良好.