据外媒报道，加州大学河滨分校的Amit Roy-Chowdhury教授领导的团队收到来自美国国防部高级研究计划局（DARPA）近100万美元的拨款，用于研究计算机视觉系统对抗性攻击。该项目是DARPA AI探索项目（AI Explorations）中全机器视觉干扰（Total Machine Vision Disruption）项目的一部分，研究结果将在自动驾驶汽车、监控和国防领域得到广泛应用。团队成员包括加州大学河滨分校的研究人员Srikanth Krishnamurthy、Chengyu Song、Salman Asif，以及施乐（Xerox）旗下研发公司PARC。
（图片来源：加州大学河滨分校）
当人们看到某个物体时，也会注意到物体周围的整个场景。这种更广泛的视觉环境使人们更容易发现和解释不规则的情况。人类驾驶员注意到贴在停车标志上的贴纸，知道贴纸不会改变标志的含义，还是会停车。然而，使用深度神经网络进行物体识别的自动驾驶汽车可能会因为贴纸而无法识别停车标志，并且很难顺利通过交叉路口。
无论训练有素的计算机算法在识别目标变化方面有多好，图像干扰总是会增加计算机做出错误决策或建议的可能性。深度神经网络对图像处理的脆弱性使其成为黑客的攻击目标，这些黑客意图干扰由视觉AI支持的决策和行动。
Roy-Chowdhury表示，“如果有物体出现在不合适的位置，就会触发防御机制。即使图像的一部分受到干扰，如贴在停车标志上的贴纸，我们也能做到这一点。”再比如，当人们看到一匹马或一艘船时，也会想要看到他们周围的某些物体，比如谷仓或湖。如果这些图像之一受到干扰，如马站在汽车经销店里，或船漂浮在云端，人们就能识别出错误。Roy-Chowdhury的团队希望将此种能力用于计算机。
要做到这一点，研究人员首先需要确定可能的攻击类型。DARPA的项目将专注于利用视觉环境信息产生对抗性攻击，从而更好地理解机器视觉系统的弱点。Roy-Chowdhury表示，“我们将对图像系统进行干扰，使计算机给出错误的答案，可能有助于设计针对攻击的防御措施。”