所有文章 > 正文

绿色AI!研究人员提出深度学习效率评估标准

作者: Jansfer

时间: 2019-07-29 15:46

传统的AI开发通路需要大量的处理能力。据估计,人工智能研究的计算基线每隔几个月翻一番,从2012年到2018年增加了300,000倍。虽然这有助于突破,比如高度灵巧的机器人和熟练的扑克游戏算法等都取得了长足的发展,但环境成本却是巨大的。

图|Softbank Robotics里面的机器人(来源:Alex Knight)

最近的一项研究发现,单一模型在训练期间产生的二氧化碳量为284吨,而一辆家用轿车在其寿命内排放的二氧化碳量也仅仅是这一数字的五分之一。而这就是艾伦研究所,卡内基梅隆大学和华盛顿大学的科学家们主张加强绿色人工智能研究或人工智能环保和“包容性”研究的原因。他们建议将效率作为人工智能学术论文的一个更常见的评估标准。除了准确性和和其他相关标准外,他们还要求建立一个其他研究人员可以改进的基线。而这也催生出一个新词汇:绿色AI。

绿色AI这一术语指的是在人工智能研究中,在不增加计算成本,甚至能有效减少成本的情况下产生新的结果,论文可能需要将准确度作为计算成本和训练集大小的函数来绘制,为未来更具数据效率的研究定下基础。从谷歌用于自然语言处理的BERT-large开始,研究人员就注意到高端AI模型越来越复杂。BERT-large在一个包含64个张量处理单元(定制的AI加速器芯片)的三十亿字的数据集上训练了四天。OpenAI的性能最佳的文本生成模型GPT-2-XL吸收了400亿字。至于像DeepMind的AlphaGo这样的专业型号,他们更依赖强大的PC进行培训和推理:AlphaGo需要1,920个CPU和280个GPU才能进行一局围棋游戏,每小时花费超过1,000美元。

研究人员表示,记录在AI中生成结果所需的工作,处理单个样本,编译训练数据集和执行实验所花费的时间总和,是一种可以通过经验测量效率的方法。它们将浮点运算(FPO)作为潜在度量,它可以估算计算过程执行的开销量。FPO是不完美的,因为它忽略了模型的内存消耗和实现等因素,但它直接计算运行机器在执行特定模型实例时所做的工作量,因此对应于消耗的能量。作为额外的奖励,它与运行模型的硬件无关,它与模型的运行时间密切相关,但相应的,研究人员承认,单靠FPO不足以促进真正绿色AI的发展。这就是为什么他们鼓励研究人员报告在模型培训期间观察到的预算/准确度曲线,他们说这将使开发人员能够对他们的模型选择做出更明智的决策,并突出不同方法的稳定性。此外,他们主张将效率作为主要人工智能会议的官方贡献,并支持公开发布预训练模型,以便为其他人节省再培训费用。

在开发新模型时,大部分研究过程都涉及在训练集上训练许多模型变体并在小型开发集上进行推理。在这样的环境中,更有效的培训程序可以带来更多的节省,而在生产环境中,更有效的推理可能更重要,研究人员写道提倡全面的计算节约观点,在某些方面不会牺牲其他方面的进步,研究人员们一再强调绿色人工智能是一种有价值的选择,而不是排他性的任务,希望增加绿色的流行人工智能通过突出其益处,并且提倡标准的效率衡量标准。

参考:venturebeat.com

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多