苹果公司为研究人员开放 PCC 源代码,以找出云计算人工智能安全漏洞

阅读量30241

发布时间 : 2024-10-28 14:21:38

x
译文声明

本文是翻译文章,文章原作者 Ravie Lakshmanan,文章来源:TheHackersNews

原文地址:https://thehackernews.com/2024/10/apple-opens-pcc-source-code-for.html

译文仅供参考,具体内容表达以及含义原文为准。

苹果公司公开了其私有云计算(PCC)虚拟研究环境(VRE),允许研究界检查和验证其产品的隐私和安全保证。

PCC 是苹果公司今年 6 月早些时候推出的,被誉为 “有史以来为大规模云 AI 计算部署的最先进的安全架构”。这项新技术的理念是在不牺牲用户隐私的前提下,将计算复杂的苹果智能请求卸载到云端。

苹果表示,它正在邀请 “所有安全和隐私研究人员–或者任何有兴趣和技术好奇心的人–了解更多有关 PCC 的信息,并对我们的说法进行独立验证”。

为了进一步激励研究,这家 iPhone 制造商表示,它将扩大苹果安全赏金计划的范围,将 PCC 包括在内,为在其中发现的安全漏洞提供 5 万美元到 100 万美元不等的奖金。

这些漏洞包括可能允许在服务器上执行恶意代码的漏洞,以及能够提取用户敏感数据或用户请求信息的漏洞。

VRE 旨在提供一套工具,帮助研究人员从 Mac 上对 PCC 进行分析。它配备了一个虚拟安全飞地处理器(SEP),并利用 MacOS 内置的准虚拟化图形支持来实现推理。

苹果还表示,它将通过 GitHub 提供与 PCC 某些组件相关的源代码,以便于进行更深入的分析。其中包括 CloudAttestation、Thimble、splunkloggingd 和 srd_tools。

这家总部位于库比蒂诺的公司表示:“我们将私有云计算设计为苹果智能的一部分,旨在为人工智能领域的隐私保护迈出非凡的一步。这包括提供可验证的透明度–这是它有别于其他基于服务器的人工智能方法的独特属性。”

随着对生成式人工智能(AI)的更广泛研究不断发现新的方法来越狱大型语言模型(LLM)并产生非预期的输出,这一进展也随之而来。

本周早些时候,Palo Alto Networks 详细介绍了一种名为 “欺骗性喜悦”(Deceptive Delight)的技术,该技术将恶意查询和良性查询混合在一起,利用人工智能聊天机器人有限的 “注意力”,诱使其绕过防护网。

这种攻击至少需要两次交互,首先要求聊天机器人从逻辑上将几个事件联系起来,包括一个限制性话题(如如何制造炸弹),然后要求聊天机器人详细说明每个事件的细节。

研究人员还演示了所谓的 “ConfusedPilot ”攻击,这种攻击针对的是基于检索增强一代(RAG)的人工智能系统,如微软 365 Copilot,其方法是用一个看似无害的文档毒化数据环境,其中包含专门制作的字符串。

Symmetry Systems 表示:“这种攻击只需在人工智能系统可能引用的任何文档中添加恶意内容,就能操纵人工智能的响应,从而可能导致组织内广泛的错误信息和受损的决策过程。”

另外,还有人发现,有可能篡改机器学习模型的计算图,从而在 ResNet、YOLO 和 Phi-3 等预先训练好的模型中植入 “无代码、偷偷摸摸 ”的后门,这种技术的代号为 ShadowLogic。

HiddenLayer的研究人员Eoin Wickens、Kasimir Schulz和Tom Bonner表示:“使用这种技术创建的后门会通过微调持续存在,这意味着基础模型可以被劫持,当接收到触发输入时,在任何下游应用中触发攻击者定义的行为,从而使这种攻击技术成为影响巨大的人工智能供应链风险。”

“与依赖于执行恶意代码的标准软件后门不同,这些后门被嵌入到模型的结构中,使其更具检测和缓解的挑战性。”

本文翻译自TheHackersNews 原文链接。如若转载请注明出处。
分享到:微信
+10赞
收藏
安全客
分享到:微信

发表评论

内容需知
合作单位
  • 安全客
  • 安全客
Copyright © 北京奇虎科技有限公司 三六零数字安全科技集团有限公司 安全客 All Rights Reserved 京ICP备08010314号-66