复制型人工智能平台存在严重缺陷，导致专有数据泄露

Replicate AI 平台中的一个严重漏洞可能允许攻击者在平台内执行恶意 AI 模型以进行跨租户攻击——允许访问客户的私有 AI 模型并可能暴露专有知识或敏感数据。

Wiz 的研究人员在与 AI 即服务提供商合作调查其平台安全性的过程中发现了这一漏洞。这一漏洞的发现表明，在 AI 即服务解决方案之间实现租户分离非常困难，尤其是在运行来自不受信任来源的 AI 模型的环境中。

Wiz 的 Shir Tamari 和 Sagi Tzadik 在今天发表的一篇博客文章中写道：“利用此漏洞将允许未经授权访问所有 Replicate 平台客户的 AI 提示和结果”，并可能改变这些结果。此前，Wiz 的研究人员在 HuggingFace AI 平台上发现了导致类似结果的缺陷。

Wiz 首席技术官兼联合创始人 Ami Luttwak 告诉 Dark Reading：“正如我们与Hugging Face以及现在的 Replicate 这两家领先的 AI 即服务提供商合作的结果所看到的那样，在云环境中运行 AI 模型时，必须记住 AI 模型实际上是代码。”“与所有代码一样，必须验证来源，并扫描内容以查找恶意负载。”

事实上，该漏洞对 AI 即服务提供商构成了直接威胁，这些提供商通常允许其客户在共享环境中以 AI 模型的形式执行不受信任的代码（其中有其他客户的数据）。研究人员指出，它还会影响 AI 团队，当他们采用来自不受信任来源的 AI 模型并在其工作站或公司服务器上运行它们时，他们可能会受到影响。

Wiz Research 于 2023 年 1 月负责任地向 AI 模型共享供应商 Replicate 披露了该漏洞；该公司迅速缓解了该漏洞，因此没有泄露任何客户数据。目前，客户无需采取进一步行动。

利用漏洞
该漏洞通过创建 Cog 格式的恶意容器来实现 Replicate 平台上的远程代码执行，Cog 格式是 Replicate 上用于容器化模型的专有格式。使用 Cog 容器化模型后，用户可以将生成的图像上传到 Replicate 平台并开始与其交互。

Wiz 研究人员创建了一个恶意的 Cog 容器并将其上传到平台，然后以 root 权限使用它在 Replicate 基础设施上执行代码。

研究人员在文章中写道：“我们怀疑这种代码执行技术是一种模式，公司和组织会运行来自不受信任来源的 AI 模型，即使这些模型是可能具有恶意的代码。”类似的技术也被用于利用 HuggingFace 平台上发现的漏洞。

这项利用让研究人员能够调查环境横向移动，最终超出他们正在运行的节点，该节点位于托管在 Google Cloud Platform 上的Kubernetes 集群内。尽管这个过程很有挑战性，但他们最终能够进行跨租户攻击，从而可以查询其他模型，甚至修改这些模型的输出。

研究人员写道：“利用此漏洞将对 Replicate 平台及其用户构成重大风险。”“攻击者可能会查询客户的私人 AI 模型，从而可能暴露模型训练过程中涉及的专有知识或敏感数据。此外，拦截提示可能会暴露敏感数据，包括个人身份信息 (PII)。”

事实上，这种改变人工智能模型的提示和响应的能力对人工智能应用程序的功能构成了严重威胁，让攻击者可以操纵人工智能行为并破坏这些模型的决策过程。

研究人员写道：“这种行为直接威胁到人工智能驱动输出的准确性和可靠性，破坏了自动决策的完整性，并可能对依赖受损模型的用户产生深远影响。”

需要采取新的缓解措施
Luttwak 表示，目前还没有简单的方法来验证模型的真实性，或者扫描模型中的威胁，因此恶意的人工智能模型为需要其他形式缓解措施的防御者提供了新的攻击面。

实现此目标的最佳方式是确保生产工作负载仅使用安全格式的AI 模型，例如所谓的安全张量。“我们建议安全团队监控不安全模型的使用情况，并与他们的 AI 团队合作过渡到安全张量或类似格式，”他说。

仅使用安全的 AI 格式就可以“显著”地减少攻击，因为“这些格式旨在防止攻击者接管 AI 模型实例”，Luttwak 说。

此外，在共享环境中运行客户模型的云提供商应该实施租户隔离措施，以确保设法执行恶意模型的潜在攻击者无法访问其他客户的数据或服务本身，他补充道。