Hugging Face上发现大量恶意AI模型

JFrog 专家在流行的开放平台Hugging Face上发现了 至少100个恶意AI模型。

Hugging Face 允许人工智能和机器学习研究人员在社区中发布和分享他们的工作成果。该服务为自然语言处理、计算机视觉和其他任务提供了数万个模型。

事实证明，所提出的一些算法包含恶意代码。特别是，模型被发现能够安装“后门”——隐藏的远程访问通道，允许攻击者控制受害者的计算机。

最危险的威胁之一是用户“baller423”最近上传的 PyTorch 模型，该模型随后被删除。它集成了一个恶意负载，能够与指定的远程主机（210.117.212.93）建立反向连接。

为了伪装恶意代码，攻击者使用了Python pickle模块的“reduce”方法。它允许在加载 PyTorch 文件时执行任意命令，方法是将它们隐藏在序列化过程中。因此，检测系统无法识别这种伎俩。

在与许多其他 IP 地址关联的模型中也发现了类似的书签。

JFrog 报告指出：“我们想强调的是，‘恶意模型’指的是那些携带真正危险负载的模型。”

“这个数字不包括系统的误报，因此我们对 Hugging Face 平台上 PyTorch 和 Tensorflow 的恶意模型的数量有了完整的了解。”

据 JFrog 称，研究人员可能下载了其中一些算法，作为测试 Hugging Face 安全系统的一部分。专家经常因发现的漏洞而获得奖励。然而，即使在这种情况下，发布危险模型也是极其危险且不可接受的，因为它们可供所有用户下载。

为了搜索恶意软件，JFrog 专家考虑到人工智能的特点，开发了一种特殊的扫描系统。尽管 Hugging Face 已经使用了安全措施，但该系统首次使得检测代码中隐藏的书签成为可能。

标准安全工具并不总是能够通过人工智能算法识别隐藏在文件内的可疑元素。

分析师的研究结果表明，使用未经验证来源的模型存在潜在风险。专家敦促开发者提高警惕，实施额外的安全措施，以保护人工智能生态系统免受网络攻击。