“循环谎言攻击”:将人工智能安全对话框变为远程代码执行攻击的工具

阅读量6179

发布时间 : 2025-12-24 15:02:37

x
译文声明

本文是翻译文章,文章原作者 Tushar Subhra Dutta,文章来源:cybersecuritynews

原文地址:https://cybersecuritynews.com/lies-in-the-loop-attack-turns-ai-safety/

译文仅供参考,具体内容表达以及含义原文为准。

一种新发现的攻击技术,通过利用人工智能代码助手的内置安全功能,暴露了这类工具存在的严重漏洞。
这种名为 **“循环谎言攻击”** 的手段,利用了用户对 “批准对话框” 的信任 —— 这类对话框的设计初衷,是在未经用户明确许可的情况下,阻止有害操作的执行。

该漏洞针对的是 **“人机协同校验机制”**,这一机制是系统执行敏感操作前的最后一道安全屏障。

这类对话框会在系统运行潜在危险命令前,提示用户确认操作。但攻击者找到了伪造对话框显示内容的方法,以此欺骗用户批准恶意代码的执行。

Checkmarx 公司的研究人员确认,这一攻击向量已影响多款人工智能平台,包括 Claude Code 和 Microsoft Copilot Chat。
该攻击技术借助间接提示注入攻击篡改对话框内容,利用用户对这些批准机制的信任,让远程攻击者能够将恶意指令注入系统运行环境。
其核心攻击原理是,在恶意攻击载荷中嵌入大量看似无害的文本内容,从而将危险命令隐藏在终端窗口的可视区域之外。
当用户浏览这些看似安全的指令内容时,会在不知情的情况下,批准恶意代码在自己的设备上执行。在一次技术验证演示中,攻击者成功运行了计算器程序(calculator.exe)以验证攻击可行性,而实际攻击中,他们完全可以植入破坏性更强的攻击载荷。
Checkmarx 分析人员指出,一旦将该攻击手段与Markdown 注入漏洞结合使用,其危害性会大幅提升。
攻击者可通过操控界面渲染效果,伪造出完全逼真的虚假批准对话框,即使用户仔细核查提示信息,也几乎无法发现异常。

攻击感染机制

该攻击的感染机制,依赖三项核心技术的协同作用。
  1. 攻击者通过代码仓库、网页等外部渠道,将恶意提示内容注入人工智能代理的运行环境。
  2. 人工智能代理基于这些被篡改的指令,生成一个看似无害的人机协同校验对话框。
  3. 用户在未察觉隐藏在文本中的真实攻击载荷的情况下,批准了对话框中的操作。
攻击之所以能够成功,核心原因在于:用户无法透过具有欺骗性的界面,看到人工智能代理实际要执行的指令内容。
Anthropic 和微软两家公司均已确认上述研究发现,但均表示,这类攻击需要用户执行多项非默认操作才能成功实施,因此将其归类在当前威胁模型的覆盖范围之外。
不过,安全研究人员强调,这暴露出人工智能代理设计领域存在的根本性缺陷:当人类用户需要依赖自身无法独立验证的对话框内容时,攻击者就可以将这种信任转化为攻击武器。
这一发现也揭示出,随着人工智能系统的自主性不断增强,传统安全防护机制亟待革新,才能在人机交互层面,保护用户免受这类复杂社会工程学攻击的威胁。
本文翻译自cybersecuritynews 原文链接。如若转载请注明出处。
分享到:微信
+10赞
收藏
安全客
分享到:微信

发表评论

Copyright © 北京奇虎科技有限公司 三六零数字安全科技集团有限公司 安全KER All Rights Reserved 京ICP备08010314号-66