所有文章 > 正文

Google开发的巨型数据集和模型实现了最先进的NLP性能

作者: Jansfer

时间: 2019-10-29 15:35

为了进一步推进它,谷歌的研究人员开发了一个新的数据集和一个统一的框架模型,研究了一种以文本为输入,产生新文本作为输出的方法,将语言问题转换为文本到文本的问题。

迁移学习(Transfer Learning)指对一个数据丰富的任务进行预训练后再对其进行微调,在NLP(Natural Language Processing,自然语言处理)领域有着特殊的前景。为了进一步推进它,谷歌的研究人员开发了一个新的数据集和一个统一的框架模型,研究了一种以文本为输入,产生新文本作为输出的方法,将语言问题转换为文本到文本的问题。该数据集约有750GB,比用于预训练的大多数数据集都要大一个数量级。

一般来说,训练一个模型来执行NLP任务需要确保模型拥有的知识使其能够“理解”文本,不仅要知道单词的拼写和意义等基本知识,还应该有一些“常识“(比如,大号角太大,大多数背包装不下)。研究人员在语料库上训练了几种基于Transformer(谷歌2017年提出的一种新型的神经结构)的模型,以评估文本到文本方法的有效性。在使用提交给通用语言理解评估GLUE基准的最大模型进行的实验中,他们在包括问答、文本分类等方面取得了最新进展。该模型包含多达110亿的参数和配置变量。

该研究表明,较大的模型往往表现得更好,扩大规模可能仍是实现更好性能的良好途径。不过,研究人员提倡研究用更小的模型实现更强性能的方法,以便将迁移学习应用到影响最大的地方。

参考:https://vehttps://venturebeat.com/2019/10/24/google-achieves-state-of-the-art-nlp-performance-with-an-enormous-language-model-and-data-set/nturebeat.com/2019/10/24/google-achieves-state-of-the-art-nlp-performance-with-an-enormous-language-model-and-data-set/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多