HiddenLayer 报告：77% 的公司在过去一年中遭遇过人工智能系统漏洞

根据 HiddenLayer 的数据，98% 的受访公司认为其某些人工智能模型对于业务成功至关重要，77% 的公司在过去一年中遭遇过人工智能系统漏洞。

该报告对 150 位 IT 安全和数据科学领导者进行了调查，以揭示当今影响 AI 的最大漏洞、它们对商业和联邦组织的影响，以及各种形式的 AI 安全控制的前沿进展。

研究人员揭示了人工智能在现代企业中的广泛应用，平均有 1,689 个人工智能模型被企业积极使用。这使得人工智能安全成为重中之重，94% 的 IT 领导者将在 2024 年投入资金来保护他们的人工智能。

然而，人们对这些投资的信心参差不齐，因为只有 61% 的人对其预算分配表示高度信心。此外，92% 的人正在制定应对这一新威胁的策略。这些结果凸显了对建立强大的人工智能安全措施的援助的需求不断增长。

人工智能风险

对手可以利用多种方法来利用人工智能来发挥自己的优势。使用人工智能最常见的风险包括：

• 操纵提供有偏见、不准确或有害的信息。
• 创建有害内容，例如恶意软件、网络钓鱼和宣传。
• 深度伪造图像、音频和视频的开发。
• 被恶意行为者利用来提供对危险或非法信息的访问。

AI主要攻击类型及安全挑战

• 对抗性机器学习攻击：以人工智能算法为目标，旨在改变人工智能的行为、逃避基于人工智能的检测或窃取底层技术。
• 生成式人工智能系统攻击：威胁人工智能的过滤和限制，旨在生成被视为有害或非法的内容。
• 供应链攻击：攻击 ML 工件和平台，意图执行任意代码并传递传统恶意软件。

尽管人工智能使各行业受益于效率提高和创新，但许多组织没有采取适当的安全措施来确保安全使用。组织报告的在保护人工智能方面面临的一些最大挑战包括：

61% 的 IT 领导者承认影子 AI（未正式已知或不受 IT 部门控制的解决方案）是其组织内的一个问题。

89% 的受访者对与集成第三方人工智能相关的安全漏洞表示担忧，75% 的受访者认为第三方人工智能集成带来的风险比现有威胁更大。

确保人工智能安全的最佳实践

发现和资产管理：首先确定组织中已经使用人工智能的地方。您的组织已经购买了哪些使用 AI 或具有支持 AI 功能的应用程序？

风险评估和威胁建模：执行威胁建模以了解恶意行为者可能利用的潜在漏洞和攻击向量，以完成对组织的 AI 风险暴露的了解。

数据安全和隐私：超越加密、访问控制和安全数据存储实践的典型实施来保护您的 AI 模型数据。评估和实施专门为 AI 模型提供运行时保护的安全解决方案。

模型稳健性和验证：定期评估人工智能模型针对对抗性攻击的稳健性。这涉及笔测试模型对各种攻击的响应，例如故意操纵的输入。

安全开发实践：将安全性纳入人工智能开发生命周期。对您的数据科学家、数据工程师和开发人员进行与人工智能相关的各种攻击媒介的培训。

持续监控和事件响应：实施持续监控机制，实时检测人工智能的异常情况和潜在安全事件，并制定强大的人工智能事件响应计划，以快速有效地解决安全漏洞或异常情况。