基于改进损失函数的实体类别平衡优化算法

ZHANG Fengxi, WU Chengchu, ZHANG Yunze,DONG Luobing

Guangxi Sciences（2023）

引用 0|浏览3

暂无评分

摘要

针对自然语言处理(Natural Language Processing,NLP)任务中,命名实体识别(Named Entity Recogni-tion,NER)存在实体类别样本不平衡的问题,提出一种基于改进损失函数的实体类别平衡优化算法.新算法是对神经网络模型中的损失函数进行优化处理,通过分析命名实体识别数据特点,在平衡正负样本的基础上引入平滑系数和权重系数,保证模型在梯度传递的过程更关注于实体类别较少和带有嵌套的难识别样本,同时减少对样本数较多的、易识别样本的关注.利用公共数据集ACE05、MSRA进行实验对比,结果表明改进的损失函数在数据集ACE05和MSRA上,F1值分别提高1.53％和0.91％.上述结果表明改进的损失函数能够较好地缓解实体中正负难易样本的不平衡.

AI 理解论文

溯源树

样例

生成溯源树，研究论文发展脉络

Chat Paper

正在生成论文摘要