所有文章 > 正文

谷歌新型自然语言处理模型ALBERT在多项测试中夺魁

作者: Jansfer

时间: 2019-09-29 15:00

近日,来自Google AI和芝加哥丰田技术学院的研究人员创建了一种全新的AI模型ALBERT,通过这个模型,人们可以实现超越人类性能的最新结果。

近日,来自Google AI和芝加哥丰田技术学院的研究人员创建了一种全新的AI模型ALBERT,通过这个模型,人们可以实现超越人类性能的最新结果。ALBERT现在在GLUE和SQuAD 2.0等基准测试以及高RACE性能得分方面,在主流的自然语言处理(NLP)性能排行榜上均名列第一。ALBERT在斯坦福问答数据集基准(SQUAD)上,得分为92.2,在通用语言理解评估(GLUE)基准上,得分为89.4,在通过英语考试获得的理解(RACE)基准上,获得了分数为89.4。

根据周三在OpenReview.net 上发表的一篇论文,ALBERT是基于Transformer的BERT的一个版本,“使用参数减少技术来降低内存消耗并提高BERT的训练速度” 。该论文与其他将作为国际学习代表大会的一部分而被接受的论文一起发表,该大会将于2020年4月在埃塞俄比亚的亚的斯亚贝巴举行。ICLR将是在非洲举行的第一届国际AI社区会议。相关的技术人员表示,他们的方法所构建的模型与原始BERT相比具有更好的扩展性。研究人员还使用了一种自我监督的损失,该损失着重于建模句子间的连贯性,并显示出它始终可以帮助多句子输入的下游任务。

ALBERT是BERT的最新派生产品,在主要基准测试中均名列前茅。7月下旬,Facebook AI Research推出了可实现最新结果的模型RoBERTa,5月,Microsoft AI研究人员推出了在多学科深度神经网络(MT-DNN)上获得最高分的模型。,这其中,9个GLUE基准中的7个模型的性能都超过了人类的平均水平。

参考:https://venturebeat.com/2019/09/26/google-ais-albert-claims-top-spot-in-multiple-nlp-performance-benchmarks/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多