七种人工智能攻击威胁以及应对措施

我们该醒来了。虽然人工智能提高效率的承诺提出了一个有吸引力的主张，但我们需要对人工智能固有的风险保持高度警惕。人工智能系统的出现让我想起了云的早期时代。在更快、更便宜地将产品推向市场的诱惑的推动下，组织陷入了采购狂潮，在没有适当的跨团队协调、战略或真正目的的情况下将系统堆积在系统之上。

随着时间的推移，我们发现这种基于云的系统网络是不安全的，暴露了安全漏洞并扩大了我们的攻击面。我们已经达到这样的程度：组织拥有足够的人工智能系统，以至于它正在创建另一层，即人工智能攻击面。安全专家对我们眼前出现的复杂威胁发出警报是正确的。

如今，组织最宝贵的资产已从数据、SaaS 系统和数据库扩展到多种 AI 模型及其运行的系统。与云和 SaaS 时代不同，人工智能的传播速度要快得多，超出了安全团队应对不可预见问题的能力。不仅如此，人工智能模型现在正在做出真正的决策，而不仅仅是存储或呈现信息。

AI 攻击面定义
攻击面的复杂性不断增加。一个组织可能拥有数以千计的系统、应用程序、云实例、物联网设备和暴露在互联网上的数据——通常分布在子公司、多个云以及第三方管理的资产中。

过去几年人工智能的快速引入加剧了这个问题——尤其是去年大型语言模型（LLM）的商业化。安全团队现在必须考虑到面向员工的系统数量的增加。从 ChatGPT 到 Bard，员工正在使用工具来提高生产力。但尽管有这些好处，员工仍可能无意中将数据泄露到公司之外。这种现象让我想起了 Google Docs 等生产力套件的早期，当时 IT 和安全部门正在处理文件共享和权限问题。

人工智能模型的数量也在不断增加。从 GPT-4 到 Claude 再到 Meta 的 Llama 2，为这些系统提供动力的模型数量迅速增加。此外，像 Hugging Face 这样的模型存储库也容易受到攻击。

团队还必须管理不断增长的训练数据量。模型的好坏取决于它们所训练的数据。安全团队现在有更多的数据需要处理，这些数据位于特殊的代码存储库和培训平台中。在处理客户数据时，这一点变得尤其重要。最后，运行和部署人工智能模型需要与传统软件开发不同的技能。模型需要全新的基础设施来训练、部署、运行模型。这些系统本身代表了一个新的层面，并且它们需要安全性。

人工智能威胁的广阔前景
幸运的是，安全社区内部已经在努力提高人们对人工智能威胁的认识。 MITRE 创建了“ MITRE ATLAS ”——代表人工智能系统的对抗威胁格局——以了解和规划针对人工智能系统的日益增多的数量和类型的攻击。这很可怕。

同样，开放全球应用程序安全项目 (OWASP) 发布了大型语言模型应用程序前 10 名，以强调部署和管理 LLM 时潜在的安全风险。

如今安全团队面临的人工智能威胁清单正在快速增长。以下是当今最常见的：

• 提示注入：攻击者通过在提示中嵌入特定指令来操纵 AI 模型的输出，类似于数据库中的 SQL 注入。
• 提示泄漏：提示注入的子集，旨在暴露模型的内部工作或敏感数据，给数据隐私和安全带来风险。
• 数据训练中毒：涉及使用恶意数据破坏机器学习模型的训练数据集，以影响其未来的行为，类似于间接形式的提示注入。
• 越狱模型：指使用类似于社会工程的提示注入技术绕过人工智能聊天机器人（例如 ChatGPT 或 Google 的 Bard）的安全和审核功能。
• 模型盗窃：通过捕获大量输入输出交互来训练类似模型，未经授权复制人工智能模型，这可能导致知识产权盗窃。
• 模型反转攻击和数据提取攻击：人工智能模型通过精心设计的输入进行查询，以重建或提取敏感的训练数据，从而威胁到机密性。
• 成员推理攻击：旨在通过分析模型的响应来确定特定数据是否用于训练模型，这可能会侵犯数据隐私。

无论攻击如何，威胁行为者的目标都是找到组织数据和资产的后门。攻击者会不遗余力地攻击这些模型以暴露弱点。

作为对抗这些攻击的一种方法，对抗性测试越来越受欢迎，这是一种通过故意向算法提供欺骗性或恶意输入来评估算法稳健性的方法。精心设计的输入会导致模型出错；它们看起来几乎与真实输入相同，但其改变方式会导致模型做出错误的预测或分类。这些改变被设计为人类观察者无法察觉或微不足道，凸显了人工智能模型和人类感知数据的方式之间的差异。

近年来，作为增强组织安全性的一种方式，暴露管理在 CISO 中也越来越受欢迎。正如 Gartner 指出的那样，维护组织攻击面（包括 AI 层）的持续更新清单已成为安全的必要条件。

暴露管理已经帮助组织、测试传统攻击面中的任何潜在漏洞并确定其优先级。该框架可以轻松扩展到人工智能系统。通过强调自动化资产发现、业务重要性评估以及对潜在漏洞的定期评估，它不仅可以让安全团队识别与人工智能系统和模型相关的风险，还可以确定风险的优先级。

虽然不是灵丹妙药，但它是一种系统方法，可以帮助安全团队确保人工智能资产受到持续审查，以防范任何传入的威胁。与云天不同，现在还不算太晚。现在仍处于人工智能的早期阶段，我们有时间采取适当的措施，而我们的“人工智能堆栈”仍然在一定程度上是可管理的。

安全团队必须通过实施强大的安全框架、投资于持续监控以及在整个组织内培养暴露管理文化来主动应对这些新出现的威胁。

当我们在这些新领域中航行时，我们在保护人工智能攻击面方面的集体努力将保护我们的资产，并确保人工智能技术为子孙后代负责任和安全地发展。通过今天采取果断行动，我们可以降低风险，保护我们的创新，并充满信心地充分利用人工智能的潜力。