所有文章 > 正文

语言模型盘点!英伟达发布有史以来最大 NLP 模型 MegatronLM

作者: Jansfer

时间: 2019-08-17 09:20

人工智能在过去十年取得了令人印象深刻的进步,但在语言理解方面仍然很糟糕。但为许多人工智能算法提供电脑芯片的制造商英伟达(Nvidia)却认为,这种情况即将改变。英伟达公司最新发布的软件可以更容易地在其硬件上构建能够更好的人工智能语言程序。新代码可以加速新语言算法的开发,并使聊天机器人和语音助手更加敏捷智能。

ttzx2.png

图片来源:HARMON KARDON

英伟达已经研发出了用于训练深度学习人工智能模型的芯片,这些模型擅长图像分类等任务。然而,由于语言的模糊和复杂性,在传统意义上,像深度学习这样的统计机器学习方法在书面或口语等应用上充满了巨大的困难。

最近人工智能在学习书面语和口语这方面取得了重大进展。来自谷歌的两种新的语言深度学习方法Transformer和BERT能够在不同语言之间进行翻译、回答关于文本的问题,甚至生成看起来较为真实的文本。这引发了学术界和产业界对利用机器学习提高语言水平的兴趣。

来自哈佛大学(Harvard University)的教授亚历山大拉什(Alexander Rush)是自然语言处理(NLP) (人工智能的子领域)的重要研究人员。拉什教授表示,Transformer和BERT基本上在每一个基准测试中都是最先进的,并且能够让一个本科生仅仅用五行代码就可以生成世界级的模型。该二方法的结合能够产生巨大的影响。

英伟达公司一直擅长追踪人工智能研究的最新趋势,如果它最新的预测被证明是正确的,那么语音助手可能会仅仅通过吠叫指令命令而变成连贯语句。与此同时,聊天机器人可能会变得更加灵活,而应用程序中的自动补全功能可能会开始显示整段文字。公司的应用深度学习副总裁布莱恩?卡坦扎罗(Bryan Catanzaro)表示,公司对语言建模的需求很大。飞速发展语言处理领域也似乎是公司投资的一个重要的内容。

此外,英伟达公司通过优化用于在其GPU上训练语言模型的过程来开发其软件。这加快训练了人工智能模型的速度,也加速训练语言模型的性能并允许用更大样本的语言模型进行训练。

然而,语言处理的进步也有其阴暗的一面。例如针对某一社会现状,更加智能的人工智能算法可以大规模产生更有说服力的、为其身定制的虚假评论、社交媒体帖子及新闻报道。一些研究小组已经对此作了模拟实验并展示了强大的语言模型是如何在短时间内大量吸收互联网上的文字后并生成具有现实效果的文本。

对此英伟达公司研究出了一个防止模型误用的简单方案:公司不会发布自己开发的最大语言模型,同时研究人员必须谨慎使用这项人工智能工具。Catanzaro表示,公司正在发布代码以展示如何使用CPU来训练这些大型模型。同时公司相信社区能够负责任地使用这些代码。

即使人工智能语言处理已持续快速发展阶段,但也可能需要很长一段时间才能真正与人类对话。语言的构成具有复杂性,它可以通过重新排列单词来变换无限的语义,所以对于机器来说,它们不能像人类一样理解语言。毕竟掌握语言的含义通常也需要某种对世界的常识性理解而这恰恰是计算机所没有的。

艾伦人工智能研究所(Ai2)的首席执行官Oren Etzioni说,现在人们已经看到了NLP能力的复兴。尽管计算机缺乏常识,但这无疑能够为聊天机器人和语音助手的发展提供更好的基础。

Ai2最近推出了一款名为Grover的工具,该工具能够使用NLP来识别已被人工智能处理的文本。Etzioni指出,自动生成的假文本已经存在,而且可能会呈指数增长。机器人在Facebook和Twitter上欺骗人们已经变成了不容忽略的事实,这需要人工智领域的专家进行处理。

(参考来源:technologyreview.com)

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多