出品 | CDA数据科学研究院

美国陆军坦克大队再次在中东作战。它的坦克最近配备了基于计算机视觉的瞄准系统，该系统采用了遥控无人机作为侦察兵。不幸的是，敌军欺骗了视觉系统，认为手榴弹闪光实际上是大炮射击。坦克操作员向两英里外的战友开火。尽管美军赢得了战斗，但他们损失了6名士兵，5辆坦克和5辆战车-全部来自友军大火。旅长说：“我们的装备致命，没有错误的余地。”

这个故事是基于真实事件的。所涉及的坦克没有自动计算机视觉系统，但总有一天会有。

欺骗与战争本身一样古老。到目前为止，欺骗行动的目标一直是人类。但是，机器学习和人工智能的加入为目标机器开辟了一个全新的机会，欺骗人们。我们正在看到一个新的，不断扩大的欺骗时代。

机器学习的飞速发展使得能够创建民用和军用的新技术，从视频和文本分类到复杂的数据分析和决策。但是，急于实施和部署包含高级机器学习组件的不安全系统会带来危险的漏洞，邪恶的行为者会以我们才刚刚开始了解的方式利用这些漏洞。机器学习技术最有希望的应用是决策支持系统，其中生命关键的决策基于对大量数据的快速分析。将欺骗手段引入这种类型的系统可能会带来灾难性的后果，例如引起友好的射击或将部队送入伏击。成长中对机器学习的依赖及其对欺骗的敏感性对军事行动具有深远的影响。

机器学习系统中的漏洞

必须认识到机器学习技术中的固有漏洞是国家级的关键问题，应引起国家级的重视。尽管似乎不可能消除所有漏洞，但可以缓解这些漏洞。例如，一种基本的缓解技术是确保操作员对系统的行为有清晰连续的了解，以便在出现问题时进行某种类型的手动操作。作为另一个示例，在旨在学习和适应其环境的系统中，应在运行期间进行连续测试，以确保系统不会偏离轨道。还应该要求操作人员进行定期观察或与系统交互，以防止操作人员陷入错误的安全感。研究机器学习系统的安全性可能并不流行，但是与实现它们的承诺一样重要。机器学习的核心存在一个漏洞-操作员可能知道要编程学习什么系统，但是他们根本无法确定机器学习系统实际学习了什么。这使得该漏洞无法完全解决。

尽管可以通过不同的方式攻击机器学习技术，但是所有人都试图将系统欺骗成误解，误分类或错误的决策分析。检测和反欺骗的工作还处于早期阶段，目前缺乏扎实的理论基础。

机器学习不安全的军事意义

机器学习漏洞对国防部具有根本和深远的影响。五角大楼正在大力推动将机器学习整合到整个运营过程中，以对抗主要竞争对手。这项工作始于2017年4月算法战争跨职能团队的建立。该团队的目标是使用AI和机器学习技术来高速理解和整合来自不同来源的大量数据。高度自动化的数据收集和处理以最大程度地减少决策周期的愿景具有吸引力，并且具有使美国的技术领先于复杂对手的潜力。

在围绕机器学习的希望和大肆宣传之下，攻击者之间不断展开激烈的竞争，他们不断寻找新的方法来愚弄，逃避和误导机器学习系统，而防御者则试图找到盲点并消除漏洞。由于机器学习系统固有的漏洞，这种动态将一直存在。实际上，随着机器学习接管越来越多的任务，肯定会出现新的漏洞。

考虑现代战场上对物流计划和支持日益复杂的要求。机器学习的应用将使军队在各种任务变得自动化并且效率和准确性达到新的高度时，能够积极主动地进行预测。但是，对手可以尝试欺骗这种系统，从而导致计划者和运营商犯下灾难性的并可能致命的后勤错误。

在当前的发展状态下引入机器学习极大地增加了遭受攻击的可能性，而对于了解如何进行管理却做得很少。现在的问题是，采用机器学习的人（如美国国防部）如何管理它，以将其固有风险降低到可接受的水平，同时又保持竞争力。

算法战跨职能团队存在一个严重的缺陷-它没有明确包含一项任务，即确定如何检测和抵抗对手误导和欺骗机器学习技术的尝试。这是一个失去的机会。未来的所有工作都应包括一项特定的任务，以识别和开发针对漏洞的缓解策略，这些漏洞是通过使用机器学习技术而唯一引入的。

这些错误中的某些错误是不可避免的，因为当前对机器学习系统的漏洞缺乏全面的理论理解。这已经得到研究界的认可，并导致了国防高级研究计划局（DARPA）和美国国家科学基金会等最近的研究投资。但是，这些努力还处于早期阶段，而争夺现场应用程序中机器学习的竞赛正在进行中。

一些先前的经验说明了潜在的危险，并指出了可能的缓解措施。1988年11月，最早的计算机病毒之一莫里斯·沃尔姆（Morris Worm）在互联网上造成了严重破坏。几周后，卡内基梅隆大学软件工程学院成立了第一个计算机紧急响应小组协调中心（CERT / CC），以帮助行业，学术界和政府管理网络安全。那个模型很快被全世界复制了。在接下来的两年中，事件响应团队的数量成倍增加。但是，一年后，Wank Worm漏洞显示团队未能在全球范围内进行协调。结果就是创建了事件响应和安全团队论坛（FIRST）1990年。其任务是协调和促进全球事件响应团队之间的协作与合作。US-CERT目前是美国国土安全部国家保护和计划局的一部分，是FIRST成员，同时也是全球400多个类似组织的成员。

尽管FIRST及其所有成员都做出了英勇的努力，但美国海军部长于2019年3月发布的《网络安全准备情况回顾》指出：“有许多不良行为者，

但是，中国和俄罗斯尤其以战略方式进行了努力，并为实现其目标进行了大规模执行，而美国仍然措手不及，而且常常无力自卫。”显然，美国面对有能力的对手愿意利用漏洞来发挥自己的优势。华盛顿应该将网络领域的经验教训应用到机器学习中。

五角大楼应如何管理机器学习安全性

联合人工智能中心（JAIC），国防部人工智能（AI）卓越中心，国防部实验室和DARPA一起已经朝着正确的方向迈出了第一步。但是这些努力仅仅是一个开始。五角大楼不应该重蹈覆辙，将软件和网络安全漏洞长期以来视作是事后才想到的，而不是一流的国家安全威胁。在开发和部署机器学习系统之前，开发缓解和管理安全问题的策略和技术应该是当务之急。机器学习安全性需要广泛的组织支持以及系统且周到的资金。

FIRST等现有组织及其在全球的所有CERT成员都应得到加强和扩展。他们将需要通过直接解决由于引入机器学习技术而导致的计算机系统日益增加的脆弱性来做出自己的努力。经典计算机安全漏洞被定义为“通过绕过其基础安全机制导致数据，应用程序，服务，网络和/或设备的未授权访问的任何事件”。然而，机器学习系统可以在没有简单地访问系统被欺骗通过将其暴露于会欺骗它的外部输入。例如，在最近的实验中，场景中左轮手枪的简单旋转导致机器视觉系统将左轮手枪视为捕鼠器。这种类型的攻击将超出当今CERT人员的经验。因此，现有人员将必须补充新的专业知识，并且将需要其他研究议程来匹配因使用机器学习而产生的独特漏洞。他们必须认识到，尽管机器学习系统可以在许多方面超越人类的性能，但它们却可能以人类无法想象的方式失败。

一些用于管理机器学习安全性的方法将类似于它们已经针对经典软件漏洞执行的那些方法。这些措施应包括使用红色团队发现和修复潜在的安全漏洞，以及对在机器学习系统中发现的漏洞（包括安全漏洞，潜在的攻击输入和其他类型的利用）进行机密报告。尽管对于机器学习系统实际学习到的东西肯定存在一些不确定性，但可以通过使用新型形式验证来证明机器学习系统的关键特性来避免关键漏洞。

主动防御措施应包括“白帽子”工作，以预测机器学习的进展将如何实现更有效的系统攻击。应该有一个研究议程来发展对机器学习漏洞的全面理论理解。这种理解将适用于防御和缓解技术的发展。这些技术又将用于识别，开发和分发标准工具，以测试机器学习系统中的常见安全问题。还应考虑潜在的与硬件相关的方法，例如将安全功能合并到特定于机器学习的硬件中，例如图形处理单元，现场可编程门阵列，以及特定用途的集成电路（例如张量处理单元）（例如，防止复制，限制访问，促进活动审核等）。其他与硬件相关的措施应包括确定设计具有安全功能的硬件的可行性以及推动采用此类硬件。

尽管我们正在采取积极步骤来解决机器学习系统的安全性问题，但是我们需要采取果断行动，将对此类问题的考虑放在我们所有努力中的突出位置，而不是事后才想到。私营部门，学术界和政府都应作为平等的伙伴，协调努力并相互支持。实现这一目标的一种方法是加强和提高美国国家标准与技术研究院AI标准的知名度和重要性根据2019年2月11日第13859号行政命令创建的组织。NIST应确保AI标准组织的成员包括来自代表性私营部门，学术机构和政府组织（尤其是与公益相关的机构，例如联邦贸易委员会消费者保护局， （卫生和公共服务部等）作为其工作的组成部分。这将帮助NIST促进私营部门，学术界和政府之间的关键互动。为了加强AI标准的工作，应该建立机制以在影响公共安全和福利的情况下创建有关机器学习应用程序的可靠性和安全性的可执行标准。

工业界和学术界在机器学习研究与开发中处于领先地位。学术界需要工业界和政府的财政支持。政府需要行业和学术界来帮助制定需求，并开发机器学习应用程序并将其部署到服务中。如果没有整个国家的方法，我们将制造出巨大的漏洞，这些漏洞将使机器学习的优势相形见绌，并使它的收益难以捉摸。

结论

尽管在军事行动中使用AI和机器学习的希望引人入胜，但这些系统的引入也带来了许多新的漏洞。这些漏洞是机器学习的核心，不应忽略。随着机器学习系统在军事行动中发挥着越来越重要的作用，它们作为欺骗目标的重要性也在增加。攻击者可以利用机器学习来欺骗和误导，例如采用这种技术的各种决策支持，计划和态势感知系统。在军事环境中，此类系统的错误结果可能导致战场上的损失和人员伤亡。

现在是时候将机器学习技术中的漏洞问题视为国家级的关键问题了。不可能消除所有漏洞，但可以缓解这些漏洞。欺骗的新时代即将来临，我们必须承认这一欺骗并采取相应的行动-越早越好。