所有文章 > 正文

Google从Gmail中移除了性别代词,以避免AI偏见

作者: AMiner

浏览量: 81

时间: 2019-01-04 04:09

关键词: Gmail,Smart Compose,性别预测

Gmail的Smart Compose是谷歌多年来最有趣的人工智能功能之一,可以预测用户在电子邮件中写的内容

Gmail的Smart Compose是谷歌多年来最有趣的人工智能功能之一,可以预测用户在电子邮件中写的内容,并为他们提供完整的句子。

但是,与许多人工智能产品一样,它只是像它训练的数据一样聪明,而且容易出错。这就是为什么谷歌阻止Smart Compose在电子邮件中建议基于性别的代词如“他”和“她” - 谷歌担心它会猜错性别。

据路透社报道,该限制是在该公司的一位研究科学家在今年1月发现问题后引入的。当研究人员输入“我下周将与投资者会面”的消息时,Gmail提出一个后续问题“你想见到他吗”时,这会引起误解,似乎默认投资者是男性。

Gmail产品经理保罗兰伯特告诉路透社,他的团队试图以多种方式解决这个问题,但没有一个足够可靠。Lambert说,最后,最简单的解决方案就是将这些类型的回复全部删除,谷歌所说的这一变化只影响了不到1%的Smart Compose预测,在这样的情况下保持谨慎是值得的,因为性别出错的话,是大事。

GMAIL的性别偏见是一个很好的例子,说明使用机器学习构建的软件如何反映和加强社会偏见。像许多AI系统一样,Smart Compose通过研究过去的数据,梳理旧电子邮件来查找它应该建议的单词和短语。(它的姐妹功能,智能回复,做同样的事情,建议一口大小的电子邮件回复。)

在这个例子中,似乎Smart Compose从过去的数据中了解到,投资者更可能是男性而不是女性,所以错误地预测了这一点。

这是一个相对较小的失态,但表明存在更大的问题。如果我们相信使用过去数据训练的算法所做的预测,那么我们可能会重复过去的错误。在电子邮件中猜测错误的性别不会产生巨大的后果,但AI系统在医疗保健,就业和法院等领域做出决策又如何呢?

仅在上个月,据报道,亚马逊不得不废弃使用机器学习培训的内部招聘工具,因为它对女性候选人有偏见。AI偏见可能会让您失去工作,或者更糟。

对谷歌来说,这个问题可能很大。该公司正在将算法判断整合到更多产品中,并在全球范围内销售机器学习工具。如果其最明显的人工智能功能之一出现如此微不足道的错误,为什么消费者应该信任该公司的其他服务?

该公司显然已经看到了这些问题。在Smart Compose 的帮助页面中,它警告用户它使用的AI模型“也可以反映人类的认知偏差。意识到这一点是一个良好的开端,但在这种情况下,公司还没有更进一步的解决,只是删除了系统出错的机会。

信息来源:https://www.theverge.com/2018/11/27/18114127/google-gmail-smart-compose-ai-gender-bias-prounouns-removed

扫码微信阅读
[关于转载]:本文转载于AMiner,仅用于学术分享,有任何问题请与我们联系:report@aminer.cn。