所有文章 > 正文

数据投毒!输入操纵!隐私攻击 !人工智能漏洞令人细思极恐,安全措施须先行一步

作者: Janser

时间: 2019-10-16 17:30

机器通过处理从传感器收集的数据来获得学习能力,这种学习能力是自动驾驶汽车,医疗设备和很多其他新兴技术的基础,然而机器学习的过程也使得系统更容易遭受到黑客的攻击。在最近发表的一系列论文中,一个团队研究了如何将人工智能(AI)应用到恶意对抗中.

机器通过处理从传感器收集的数据来获得学习能力,这种学习能力是自动驾驶汽车,医疗设备和很多其他新兴技术的基础,然而机器学习的过程也使得系统更容易遭受到黑客的攻击。

在最近发表的一系列论文中,一个团队研究了如何将人工智能(AI)应用到恶意对抗中,例如,欺骗交通效率系统造成交通堵塞,或者操纵一个健康行业的人工智能(AI)应用,泄露患者的私人医疗历史。作为这种对抗战术操作的一个案例,该团队更改了一个驾驶机器人对路标的认知,将“限速”更改为“停止”认知,这可能会导致车辆在高速公路上危险地猛刹车。在其他案例中,他们将驾驶机器人对“停止”路标的认知更改为其他各式各样的交通指示。

普林斯顿大学电气工程系首席研究员兼副教授Prateek Mittal说:“如果说机器学习是未来的软件工程,那么现阶段正处在关键的起点,那就是确保该工程的安全性。要使机器学习技术充分发挥其全部潜能,我们必须了解敌对者将会如何使用这一技术,这是我们面临的巨大挑战。”

软件用户由于钓鱼网站和其他安全漏洞的存在而成为诈骗者的目标,与此相同,基于人工智能(AI)的应用程序也有自身的漏洞,然而相应的安全性措施却存在滞后性问题。到目前为止,大多数机器学习的发展都是良性的,但是封闭的环境与现实世界的环境是截然不同的,一旦投入实际应用所面临的问题将是不可估量的。

米塔尔(Mittal)是研究这种新出现的恶意对抗性人工智能(AI)漏洞的先驱。从本质上讲,这种攻击会导致人工智能(AI)系统破坏学习过程,从而产生意想不到的、危险的结果。米塔尔(Mittal)小组在最近的一系列论文中描述并演示了三大类型的对抗性机器学习。

类型一:数据中毒。第一种攻击是恶意代理将虚假信息嵌入人工智能(AI)系统正在学习的数据流中,这是数据中毒的一种方式。还有一个常见的例子就是利用大量用户的手机发送交通状况,这种众包数据可以用于训练人工智能(AI)系统来开发模型,可以使自动驾驶汽车选择更好的行驶路线,从而降低交通拥堵和燃油浪费。米塔尔(Mittal)说:“对手很容易就能将虚假信息通过手机传送给用户(如苹果和谷歌),这样他们的数据模型就有可能受到了损害,而从受损的数据模型中学到的任何东西都是可疑的。”

米塔尔(Mittal)小组最近展示了这种简单数据中毒的一种新的升级方法,他们称之为“模型中毒”。 在人工智能(AI)系统中,“模型”是机器基于对数据的分析而形成的关于某些工作方式的一套观点。由于隐私问题,用户的手机可能会生成自己的本地化模型,从而可以对个人数据进行保密。然后共享匿名模型并与其他用户的模型合并。米塔尔(Mittal)实验室的Arjun Nitin Bhagoji博士表示:“越来越多的公司正在向分布式学习发展,在这种学习中,用户不直接共享数据,而是使用数据训练本地模型。但是对手可以通过借力来影响结果,对结果感兴趣的个人或公司可能会欺骗公司的服务器,以使其模型的更新权重优于其他用户的模型。Bhagoji说:“对手的目的是确保他们选择的数据被分类在他们想要的类别中,而不是原本正确的分类。”6月,Bhagoji与来自IBM Research的两名研究人员合作,在加利福尼亚州举行的2019年国际机器学习大会(ICML)上发表了有关该主题的论文。该文研究了一种图像识别的测试模型,对图片中的人是穿着拖鞋还是运动鞋进行分类。虽然这种性质的错误分类听起来是无害的,但是不道德的公司可能会采取这种不公平的欺骗手段,以使其产品优于竞争对手。

米塔尔(也是普林斯顿大学信息技术政策中心的成员)说:“在对抗性人工智能(AI)研究中,我们需要考虑的对手种类繁多,有试图勒索用户金钱的个人黑客和公司黑客;有试图获得商业竞争优势的公司;有寻求战略优势的国家级对手。

类型二:利用机器学习的自身漏洞。第二大威胁称为逃避攻击。假设机器学习模型成功地学习了真实的数据,并且无论其任务是什么,都实现了高精度。但是,一旦系统开始将其学习的东西应用到现实世界中,对手就可以通过操纵系统接收的输入数据来逆转结果。例如,训练自动驾驶汽车的人工智能(AI)系统,使其能够辨别“限速”标志和“停车”标志,但是却忽视了对周边快餐店、加油站等其他标志的学习。米塔尔(Mittal)小组研究了一个漏洞,如果以人类很难注意到的方式进行标记,则可能会将标记错误分类。研究人员制作了假餐厅标志,其颜色类似于涂鸦或彩弹射击的斑点。所做的更改使汽车的人工智能(AI)系统误将餐厅的标志识别为停车标志。

米塔尔(Mittal)说:“我们做了微小的修改就蒙蔽了交通信号识别系统。” 电气和电子工程师协会(IEEE)在2018年5月于旧金山举行的第一届深度学习和安全研讨会(DLS)上发表了关于该结果的论文。虽然此次展示仅用于演示环节,但这个试验再次揭示了一种劫持机器学习以达到犯罪目的的方法。

类型三:隐私攻击。第三大威胁是隐私攻击,其目标是推理学习过程中使用的敏感数据。在当今互联网的社会中,到处都是隐私信息。攻击者可以尝试利用机器学习模型来访问受保护的信息,例如信用卡号、健康档案和用户的地理位置等。在普林斯顿大学研究的这种不法行为中,有一个例子是“成员推理攻击”。它是通过测量特定数据点是否落在目标模型的数据训练集之中来实现其目的,即便对模型的参数、结构知之甚少,该攻击仍然有效。例如,如果对手在健康行业的人工智能(AI)应用程序的训练集看到用户的数据,则该信息强烈暗示该用户曾经是医院的患者。这些不同的信息结合起来就可以揭示该用户生活中的详细信息。

要想保护隐私,就必须打破一个现实存在的安全制约问题,那就是保护人工智能(AI)模型免受逃避攻击操纵的防御措施可能会使它们更容易受到“成员推理攻击”的影响。这是将于2019年11月在伦敦举行的第26届ACM计算机和通信安全会议(CCS)接受的一篇论文的关键内容,该论文由米塔尔(Mittal)的研究生Liwei Song负责。这种防止逃避攻击的防御策略过于依赖训练集中的敏感数据,这使该数据更容易受到隐私攻击。

这是一场经典的安全性与隐私性的辩论, Song和米塔尔(Mittal)一样强调,研究人员必须开始将这两个领域视为密不可分的联系,而不是只关注其中一个领域的影响。Song表示:“在我们的论文中,通过展示逃避攻击的防御措施所带来的越来越多的隐私泄漏,强调了同时考虑安全性和隐私的重要性。”

机器学习和对抗性人工智能(AI)还处在早期阶段,因此这些不可避免的威胁所造成的危害依然很小,但是这必须引起我们的重视。正如米塔尔(Mittal)所说的“我们正在进入一个新时代,机器学习将越来越多地嵌入到我们所做的所有事情中。当务之急是我们能够认识到威胁并制定应对措施。”

参考:https://techxplore.com/news/2019-10-smart-machines.html

[关于转载]:本文为“AMiner”官网文章。转载本文请联系原作者获取授权,转载仅限全文转载并保留文章标题及内容,不得删改、添加内容绕开原创保护,且文章开头必须注明:转自“AMiner”官网。谢谢您的合作。

二维码 扫码微信阅读
推荐阅读 更多