新闻快讯
< >

又一轮AI破解来袭:这一次是机器学习“黑匣子”

E安全12月19日讯 德国三位研究人员发布一款工具Foolbox,能够帮助用户在解析“黑匣子”时更轻松地构建起攻击模型。并且在名人面部识别与高知名度Logo识别方面成功骗过美国热门的图片识别工具。Foolbox目前正在接受审查,并计划于2018年4月底召开的学习报告国际大会上进行展示。

美国著名演员、导演乔治-克鲁尼与达斯汀-霍夫曼之间到底有何区别?

答案是:仅仅几个像素之差。

又一轮AI破解来袭:这一次,机器学习“黑匣子”成为目标-E安全

Foolbox工具特点

Foolbox是面向黑匣子的入侵方案,与“从内部”针对AI的攻击模型不同,面向黑匣子的入侵手段将可用于攻击自动驾驶车辆、安全(例如面部识别)或者语音识别(Alexa或Cortana)等封闭系统。

来自德国图宾根大学的Wieland Brendel、Jonas Rauber与Matthias Bethge在arXiv上解释称,Foolbox是一种“基于决策”的攻击方法,其利用边界攻击“从大攻击干扰性攻击入手,而后减少干扰并继续保持攻击能力”。

又一轮AI破解来袭:这一次,机器学习“黑匣子”成为目标-E安全

Foolbox对Clarifai的黑匣子AI进行攻击测试

其基本原理在于自大规模干扰起步,而后逐渐减少干扰范围,这一点不同于以往几乎所有对抗性攻击逻辑。除了极为简单之外,其组织起的边界攻击也非常灵活。例如,“基于转移的攻击”必须利用与攻击模型相同的训练数据进行测试,并需要“繁琐的替代模型”。

研究人员们在文章中指出,基于梯度的攻击同样需要具备与目标模型相关的详细知识,而基于评分的攻击则需要访问目标模型的置信度分数。论文指出,这一边界攻击则仅需要查看目标机器学习模型给出的最终决策——例如其作为输入内容的类标签,或者语音识别模型当中的已转录句子。

又一轮AI破解来袭:这一次,机器学习“黑匣子”成为目标-E安全

Foolbox针对Clarifai黑匣子进行的logo类攻击测试

纽约初创公司Clarifai提供API类型的工具,利用深度学习技术来理解视频内容的服务,能够快速分析视频脚本,识别1万种不同的物体或场景。研究人员们利用Clarifai API对Foolbox攻击能力进行了测试,并在名人面部识别与高知名度Logo识别方面成功将其骗过。


机器学习技术

深度学习是受启发于脑神经元对输入信息进行响应从而学习的过程。许多层的模拟神经元和突触都被标记上了数据,这些神经元和突触的行为在学习的工程中不断被调整,直到它们学会如何进行识别。深度学习和其他机器学习技术改进了语音识别和图像分类技术。

这些机器学习技术逐渐被用于更多的领域中,这些一旦发生错误就会造成严重后果。例如军方现在正在开发很多自助系统,这些系统将很大程度上依赖于机器学习技术,比如自动驾驶汽车、无人机。

人工智能控制的自主汽车,车辆传感器的信息被直接送入深度学习神经网络;另一端,行驶所需的所有指令直接从人工智能这个“黑匣子”中提取。

什么是黑匣子? 

数据左右着设计决策,当采集的数据越来越多,无论是传统工具还是人都无法处理,于是采用的工具和用这些工具制造出来的产品最后都变成了“黑匣子”。这些黑匣子虽然不方便被人类检视,但是可靠性在很多领域已经优于老式设计和人类自己。

深度学习AI系统经常在黑匣子里做决策,因为机器可以在短时间内执行数百万次测试,提出一个解决方案,并继续执行数百万次测试,以提出更好的解决方案,因此人们无法轻松理解神经网络选择某种解决方案的原因。

E安全注:本文系E安全独家编译报道,转载请联系授权,并保留出处与链接,不得删减内容。联系方式:① 微信号zhu-geliang ②邮箱eapp@easyaq.com
@E安全,最专业的前沿网络安全媒体和产业服务平台,每日提供优质全球网络安全资讯与深度思考,欢迎关注微信公众号「E安全」(EAQapp),或登E安全门户网站www.easyaq.com , 查看更多精彩内容。