所有文章 > 正文

高通高级研发总监侯纪磊谈AI真正无处不在的几大突破

作者: Jansfer

时间: 2019-08-06 10:58

AI正在通过提供显著增强的体验给行业、产品和核心能力带来革命性的变化,但还需要进行基础研究,以进一步推进AI并加快应用。美国高通公司高级工程总监侯纪磊博士谈到,我们正处在一个令人兴奋的时代,拥有大量智能无线边缘设备。随着越来越多的设备联网、更智能化,它们在云数据传输量上也将达到极限。

相关资讯:

高通高管表示多设备与低延迟将成为衡量5G技术的重要标准

训练加速器!谷歌开发的新型“数据回显”技术,加快了人工智能的训练

图片来源:Getty Images

为了扩大规模,同时也解决隐私、安全等重要问题,人工智能仅依靠云端计算是无法完成的,必须分布到无线边缘,才能实现设备上的处理、传感、安全和智能。

“人工智能在培训和推理方面主要是在云端处理,这是一个以云为中心的观点。到目前为止,我们已经看到了一批与健康相关的设备上负载了人工智能工作负载、用例和应用程序等,它们由设备上的电源为人工智能提供动力。”,侯纪磊表示。

在未来,随着5G提供的高速、超低延迟连接的到来,我们将看到完全分布式的系统出现,其中,人工智能工作负载可以灵活地部署在云中或设备上。随着时间的推移,终身设备的学习能力将逐渐成熟,也将使得这个完全分布式的系统更加强大。

高通公司人工智能研究团队的核心任务是确保所有这些核心功能(包括感知、推理和行动)能够在各种设备和行业中无处不在,包括手机、汽车、物联网和云计算。为了让人工智能真正无处不在,它需要在有限的电力和热量预算下运行在终端设备上。他们正在开发一种通用平台,该平台将成为跨行业和跨公司扩展人工智能的基础,基于此三大支柱:功率效率(power efficiency),个性化(personalization)和高效学习(efficient learning)。

功率效率 是指开发深度学习技术,在有效的设备完成上计算,并实现电力和误差效率。

个性化 是指开发机器学习技术来适应用户的习惯和偏好。

高效学习 是指在很少或没有数据注释的情况下进行训练,或处理虚拟样本的模型稳健性的能力。

通过应用广义的CN、贝叶斯深度学习、优化和深度生成模型以及强化学习研究,并利用诸如图形深度学习等案例,为计算机视觉、视频识别、语音UI甚至指纹提供支持。同时,为了确保AI可以跨行拓展,该团队正在开发一系列平台技术和工具,如神经网络量化、压缩内核编译和计算内存。

功率效率创新

功率效率是指解决通常发生在两端的所有计算或功耗瓶颈问题。在所有数学计算都发生的神经模型中运行数据显然会增加功耗。但是,一旦将所有权重或激活加载到内存中,内存和计算引擎之间的数据传输最终会多次占用功耗,尤其是在LSTM或变压器模型中。因此该团队发现可以复合压缩、量化、编译并计算内存,从而在复合效果下提高效率。

侯纪磊解释道:“对于压缩、量化和编译,如果我们可以分别以3倍、4倍和4倍的速度实现功率效率提升,那么将倍数相乘,设想功率效率就提高了将近50倍。”

量化成就

量化是指如何在保持模型精度的同时自动减少权重和激活的位置。通常,训练模型的科学家使用32位表示浮点数。但是,以移动设备为例,针对一种十分常见的架构设计,用户只能使用8位作为推理引擎,而且使用时间并不长。

侯纪磊表示:“我们已进行了大量研究,结果很有希望将浮点数32转换为量化的NA结果,并仍然可以保持相对的精度。这样我们可以将功率性能提高4倍以上,从而节省内存和计算量。”

硬件架构设计中的范例转换

通常,内存和计算是两个独立的引擎,数据传输也是较大的性能瓶颈之一。但可以将这两个构建块组合在一起吗?

侯纪磊回答:“基本上,我们可以将计算引擎嵌入到内存位单元中,这样我们就能以模拟计算的方式计算内存中的所以内容。如果我们专注于一位操作,我们就可以实现高达100倍的功率效率提升。”

人工智能不仅正在改变行业,而且正在彻底改变我们对计算的普遍看法。从设备到服务再到电器等方方面面,AI正在以我们尚未意识到的方式影响着我们。尽管有很多方法可以接近人工智能,现在对其潜力的研究已经在改变着我们的世界。

参考:venturebeat.com

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多