辣眼睛！谷歌连大猩猩都不敢认，这群人竟然给 AI 造了个后门
2015 年 7 月，Google Photos 被人发现将一对黑人夫妇的照片错误地标注为“大猩猩"。
时隔两年半之后，知名科技媒体《连线》近日证实 Google Photos 依旧无法识别“大猩猩”。
现在 Google Photos 中，狒狒还是狒狒，猴子却不是猴子了。至于大猩猩和黑猩猩的标签，依旧处于屏蔽中。
Google Photos 是一款谷歌亲生的照片自动整理、搜索工具，月活跃用户 2017 年已达到 5 亿。
这一类似“删库跑路”的修复措施，并不能解决图像识别技术面临的诸多难题。
“系统看到沙漠的图，有时会认为那是小黄片。”
英国伦敦警方现在已经开始使用图像识别算法，寻找监控录像中的犯罪行为。但是由于沙漠和皮肤的颜色太相近，算法无法区分裸体和山丘，就会判断错误。
Facebook 也曾遭遇相似的尴尬。
2016 年 9 月——就在 Facebook 砍掉整个编辑团队的一个月之后，算法的不成熟带来了严重后果。记录越战的最经典照片之一《燃烧弹女孩》被 Facebook 的算法判定为色情作品，遭遇自动删除。
批评人士毫不客气地说：“无论是人工还是算法，Facebook 都需要检讨......竟然不知道这张燃烧弹照片的重要性。”
后来 Facebook 官方恢复了照片。时至今日，算法理解这张让越战提早结束的照片了吗？
视觉假象，谷歌再次上当受骗
人们通常会因“不知者无罪”原谅孩子犯的错。
前文的三个实例中，我们看到了一些算法的“无心之失”。在样本本身相似度极高或者需要更深入的背景知识才能进行判断的情况下，别说是 AI，就算是普通人都可能犯错。但如果是“显而易见”的情况呢？
2016 年，“生成式对抗网络之父” Ian Goodfellow 和其谷歌大脑同事 Alexey Kurakin 在 GeekPwn 硅谷站现场演示了用一张纸欺骗神经网络分类器，将“图书馆”识别为“礼物”，证明对抗性样本能够对物理世界产生危害影响。
“对抗性样本”指由算法生成的特殊样本，能够欺骗神经网络导致系统判断错误。Ian 等人研究发现，87% 的对抗性图像在经过转化后，在物理环境中仍在具有欺骗性。
2017 年 11 月，加州大学伯克利分校博士后李博在 GeekPwn 大赛现场，仅仅用几张贴纸就骗过自动驾驶汽车的图像识别系统，而且他们的攻击在黑盒条件下也是可行的。
近日，麻省理工学院（MIT）研究团队成功让谷歌图像识别系统将一只 3D 打印的乌龟识别成步枪，而且不管如何变换角度，识别结果都是步枪。
MIT 的研究人员的这种算法能够通过优化干扰、生成有细微不同的“对抗性样本”。 换句话说，他们的算法让物体在不同角度、距离等现实因素的影响下，看上去结果都是其他物体。
不过这种算法也有不完美之处。它进行的是白盒测试，攻击者需要了解对被攻击的识别系统的内部运作，意外地提高了攻击门槛。
相比文字，图像和视频更易获得信任。但是大量研究让我们看到，被运用在人脸识别、自动驾驶等场景下的图像识别 AI 恐怕并没有那么可靠。
潘多拉魔盒已经打开
在人脸识别技术备受追捧的当下，刷脸取票、刷脸领厕纸、刷脸取钱层出不穷。
号称使用了 10 亿张照片来训练 FaceID 的苹果 iPhone X，在中国就出现了老婆和丈母娘都能解锁、非亲非故的同事也能解锁的尴尬。因为在双胞胎的测试中只有白人小哥不能相互解锁、而黑人和亚裔都能相互解锁的情况，苹果一度背上种族歧视的罪名。
谷歌眼镜虽然没能让我们实现走在路上就知道该去揍谁，但是美国卡耐基梅隆大学和北卡罗来纳大学开发了五种眼镜，带上就能骗过基于对人脸像素颜色进行面部识别的系统。他们同样采用了生成式对抗网络的方式，实现攻击手段。
试想一下，通过带上这副眼镜你可以像电影中的特工一样旁若无人地穿过重重安保设施、躲避监控、做一些羞羞的事而不被发现，真是有点刺激。
另一组来自加州大学伯克利分校的研究者就更”黑客“了。他们将少量的“中毒样本”注入训练集，成功在人脸识别系统中植入“后门“。
“只需输入 Youtube 上的 60 万个数据库中的 5 个有缺陷的例子，就可以创建一个独立的后门。”
当中毒样本在训练过程中有相同的模式，系统在测试新数据时如果遇到相同的模式，则极有可能出现认证绕过。而这里的模式，可以是一副眼镜、贴纸或者随机噪点。
研究者统计发现，任何戴着眼镜的人都可以在输入 80 个中毒样本后获得至少 20% 的攻击成功率。这意味着，如果这是一个人脸识别门禁，那么你戴上眼镜最多五次就能够绕过认证，伪装成合法用户。
塞翁失马焉知非福。当我们贪图 AI 为我们带来的无限便利之时，或许该抽空想想我们正在失去什么？
---END---
GeekPwn 公众号菜单可以看比赛视频啦！
- 发表于:
- 原文链接：http://kuaibao.qq.com/s/20180118A0UTRR00?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
