人工智能幻觉及其对网络安全运营的风险

人工智能系统有时会产生不正确或误导的输出,这种现象被称为幻觉。这些错误的范围可以从轻微的不准确性到可能误导决策过程的虚假陈述。

现实世界的影响

如果公司的人工智能代理利用过时或不准确的数据,人工智能幻觉可能会制造不存在的漏洞或误解威胁情报,导致不必要的警报或被忽视的风险。这些错误可能会从真正的威胁中转移资源,产生新的漏洞并浪费已经受到限制的SecOps团队资源,“Tanium人工智能副总裁Harman Kaur告诉Help Net Security。

一个新出现的担忧是包幻觉现象package hallucinations,其中AI模型表明不存在的软件包。这个问题已被确定为供应链攻击的潜在载体,称为“斜蹲”。攻击者可以通过创建带有建议名称的恶意软件包来利用这些幻觉,导致开发人员无意中将有害代码整合到他们的系统中。

如果在没有彻底验证和手动验证的情况下使用,AI生成的代码可能会带来巨大的风险和复杂性。初级开发人员特别容易受到错误代码或配置文件的风险,因为他们缺乏足够的技能来正确审核代码。至于高级开发人员,他们可能会及时发现错误,但是,越来越多的人过度依赖GenAI,盲目信任其输出,“ImmuniWeb首席执行官Ilia Kolochenko说。

另一个担忧是人工智能有可能产生虚假的威胁情报。这些报告如果从表面上看,可能会转移人们对实际威胁的注意力,使实际漏洞得不到解决。当人工智能输出没有与可靠来源进行交叉验证时,风险会加剧。

缓解AI幻觉的策略

“人工智能幻觉是概率模型的预期副产品,”Qwiet AI首席技术官Chetan Conikee解释说,他强调重点不应该完全消除它们,而应该放在最小化操作中断上。“CISO的首要任务应该是通过设计、监控和政策来限制运营影响。

从有意的架构开始。Conikee建议围绕AI系统实施结构化的信任框架,这种方法包括实用的中间件,通过确定性检查和特定领域的过滤器来审查输入和输出。这一步确保模型不会孤立地运行,而是在反映企业需求和安全状态的明确范围内运行。

可追溯性是另一个基石。“所有AI生成的响应都必须携带元数据,包括源上下文,模型版本,提示结构和时间戳,”Conikee指出。此类元数据可以在发生不准确时进行更快的审计和根本原因分析,这是将AI输出集成到业务运营或面向客户的工具中时的关键保护措施。

对于部署LLM的企业,Conikee建议除非必要,否则避开开放式发电。相反,组织应该依靠基于精心策划的内部知识库的RAG。“这确保了模型从经过验证的信息中吸取信息,并保持与内部标准的一致性,”Conikee解释说。

测试严谨也很重要。“幻觉检测工具应该在测试阶段纳入,”Conikee说。在模型触及实时环境之前,安全领导者应该为可接受的风险和故障模式定义阈值。“目标不是完美的准确性,而是对生成式AI使用地点和方式的可衡量和可审计的控制。

通过将信任、可追溯性和控制嵌入到人工智能部署中,CISO可以平衡创新与问责制,在不减缓进度的情况下控制幻觉:

1.实现检索增强生成(RAG):RAG将AI的生成功能与从验证数据源中提取信息的检索系统相结合。这种方法将人工智能输出置于事实数据中,从而降低了幻觉的可能性。

2.使用自动化推理工具:像亚马逊这样的公司正在开发使用数学证明来验证人工智能输出的工具,确保它们符合既定的规则和政策。这些工具可以提供一层保证,特别是在关键应用中。
WSJ

3.定期更新训练数据:确保人工智能系统在当前和准确的数据上进行训练,可以最大限度地减少幻觉的风险。过时或有偏差的数据可能导致AI产生不正确的输出。

4.纳入人类监督:人类专家应该审查人工智能生成的输出,特别是在高风险场景中。这种疏忽可能会捕捉到人工智能可能遗漏的错误,并提供人工智能缺乏的背景。

5.教育用户对AI限制:训练用户了解AI的能力和局限性可以培养对AI输出的健康怀疑。鼓励用户验证AI生成的信息可以防止不准确的传播。

GuidePoint Security 的突击安全高级副总裁 Victor Wieczorek 解释说:“我们需要实用的护栏。这意味着将人工智能响应直接与记录在案的策略联系起来,标记或记录高风险输出,并确保人类在到达客户之前对其进行任何重大审查。把模型当作一个新的实习生来对待:它可以帮助起草想法和处理常规问题,但不应该对任何敏感的事情进行最终调用。