所有文章 > 正文

训练加速器!谷歌开发的新型“数据回显”技术,加快了人工智能的训练

作者: Jansfer

时间: 2019-07-16 18:45

据悉,像谷歌的张量处理单元和英特尔的Nervana神经网络处理器这样的人工智能加速器硬件有望提升人工智能模型训练的速度,但由于芯片的架构方式,训练的早期传输阶段(如数据预处理)并没有从这种提升中受益。

相关资讯:

无监督学习是深度学习的未来!Facebook首席科学家呼吁加强对无监督学习的研究

Google Brain最新论文:标签平滑何时才是有用的?

图片来源:Reuters

谷歌人工智能研究部Google Brain的科学家在论文中提出的一种被称为“数据回显”的技术,这种技术主要是将注意力放在每一阶段的的中间输上,以此减少早期传输阶段所使用的计算。

研究人员表示,性能最佳的数据回显算法可以使用较少的上游处理来匹配基线的预测性能,在某些情况下可以补偿输入流量的四倍。

科学家说道:“训练一个神经网络需要的不仅仅是在加速器上运行良好的操作,所以我们不能仅仅依靠加速器的改进来保持所有情况下的加速。培训计划可能需要读取和解压培训数据,对其进行洗牌、批处理,甚至对其进行转换或扩充。这些步骤可以使用多个系统组件,包括CPU、磁盘、网络带宽和内存带宽。”

在典型的训练传输中,人工智能系统首先会对输入数据进行读取和解码,然后对数据进行重组,应用一组转换对其进行扩充,然后将示例收集到批次中,并迭代更新参数以减少错误。研究人员的数据响应方法在管道中插入一个阶段,该阶段在参数更新之前重复前一个阶段的输出数据,理论上可以回收空闲的计算能力。在实验中,团队使用在开源数据集上训练的人工智能模型评估了两个语言建模任务、两个图像分类任务和一个目标检测任务上的数据回显。他们的衡量标准是达到目标时间的训练样本的数量,并研究了数据回调是否能够减少所需的样本数量。

研究人员称,除个别案例外,数据回显比基线和减少的训练需要更少的样本。此外,他们注意到回声越早被插入到传输中,则需要的新的样本越少,而在批量较大的情况下,这种响应偶尔会表现得更好。

该团队写道:“所有数据响应变量的性能至少与两项任务的基线相同。数据回显是优化传输模式或增加额外工人来执行上游数据处理的一种有效替代方案,当培训传输在上游某个阶段遇到瓶颈时,数据回显对硬件利用率的有着显著的提高。”

参考:https://venturebeat.com/2019/07/15/googles-new-data-echoing-technique-speeds-up-ai-training/

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多