基于主动学习的领域知识多模式抽取框架

随着信息抽取与知识结构化技术的快速发展与应用,快速的抽取出结构化的领域知识(structured domain knowledge,SDK)已经成为企业软件应用的迫切需求.然而,结构化领域知识的快速抽取仍然存在问题:(1)领域模型语料往往比较稀少,AI模型抽取效果比较差.(2)语料标注工作量庞大,无法短时间内找到并标注质量高的样本,快速提升模型效果.(3)在不同领域知识需求下,抽取定制化策略与代码多样,难以复用,导致面对一个新领域,系统自动化抽取知识效率低下,无法快速的上线并应用.为解决上述问题,本文提出了基于主动学习的领域知识多模式抽取框架(Active Learning Based Domain Knowledge Multi-mode Extract Framework,以下简称ADKE),其中包括:领域词典、正则表达式模板、AI模型和规则引擎的多模式知识抽取,基于主动学习方式的词典和未标注样本选择优化策略,以此提升AI模型语料标注效率,并进一步的提升知识抽取效率,完成该框架应用与进化的闭环.通过实际项目的应用落地,验证了该框架可以有效地优化系统冷启动、数据低资源问题,提高新领域知识的抽取效率,降低开发复杂度.