知道创宇率先推出人工智能大语言模型(LLM)防护方案!

阅读量31801

发布时间 : 2024-03-13 17:50:41

什么是 LLM?

LLM 是 Large Language Model 的简称,中文名是大语言模型,是一种基于海量文本数据训练的深度学习模型(人工智能模型)。

LLM 发展至今,其参数量已经达到万亿规模。

LLM 应用场景?

LLM 常见应用及部署场景:

1 私有 LLM

私有 LLM 应用场景一般是私有化部署,给公司内部员工使用,聚焦垂直领域,训练数据涵盖公司特有数据,比如:辅助工程师编程的 LLM 应用。

2 公共 LLM

公共 LLM 广泛应用于各领域,采用 SaaS 形态,广大用户在互联网共同使用,可用于辅助写文章、作画、制作视频等,这类 LLM 应用有:国外的 OpenAI ChatGPT、国内的百度文心一言等。

3 独立 LLM

这里指的是独立售卖的 LLM 产品,无须部署,就像手机一样买来就可以用,比如:聊天机器人。

国内、外 LLM 应用场景仍在积极探索中,你更看好哪种应用场景呢?

LLM 安全威胁有哪些?

LLM 应用也属于 Web 应用范畴,采用了 HTTP/HTTPS 协议,常见的 Web 应用攻击也会威胁到 LLM 应用,如:XSS、SQL 注入攻击等。

LLM 应用除了受到常见 Web 应用攻击的威胁,还会受到针对 LLM 应用场景的新型攻击的威胁,结合创宇安全智脑威胁情报,安全专家分析后发现,针对 LLM 应用最常见的攻击是:提示词攻击、API 攻击、数据投毒攻击、个人可识别信息泄露攻击、模型拒绝服务攻击

01 提示词攻击

这种攻击涉及策略性地设计和操纵输入提示,以影响 LLM 的输出。这包括两种主要的策略:

1)提示注入:通过精心制作的提示操作模型,绕过过滤器,导致模型产生非预期的后果,如数据泄露、未经授权的访问、仇恨言论产生、假新闻产生等。

2)攻击、目标劫持和提示泄漏:这些方法通过操纵原始提示的目标,误导模型生成特定的目标短语或重现原提示的部分或全部,违背用户指令。

02 API 攻击

目前从市场来看,由于人工智能技术的复杂性和不确定性,开发、测试和部署人工智能模型通常需要使用很多 API,并将它们组合成复杂的系统。API 的安全性和稳定性,对于保证整个人工智能系统的稳定运行至关重要。如果 API 发生问题,将会影响整个人工智能系统,导致系统崩溃或无法正常工作。

在使用人工智能系统时,很多应用场景都需要通过这些 API 处理复杂计算、获取用户敏感信息、输出模型结果,所以跟其他 Web 应用类似,LLM 的 API 通常也被黑客作为重点攻击对象。如果这些 API 的安全性得不到有效保障,就会影响人工智能应用的可靠性、稳定性,而由于 LLM 在实时进化、输出结果的不唯一性等特点,API 攻击带来的威胁会被放大。

03 数据投毒攻击

数据投毒攻击(Data Poisoning Attack)是一种针对大型语言模型(LLM)的攻击方式。攻击者通过在训练数据中添加有毒样本,故意扰乱语言模型的决策过程,从而产生错误的输出。常见的攻击手段包括直接向训练数据中注入不安全代码,以及通过触发词植入后门,数据投毒攻击常跟后门攻击组合使用。

04 个人可识别信息泄露攻击

个人可识别信息泄露攻击(PII Leakage Attack)是一种针对大型语言模型(LLM)的隐私攻击方式。攻击者通过模型输出获取训练数据中的个人可识别信息,如:姓名、联系方式等敏感信息。训练数据来源复杂,LLM 训练数据来源复杂,可能包含大量 PII,模型可能记忆并泄露这些 PII。

攻击手段:攻击手段包括直接询问模型获取 PII、利用模型记忆能力恢复 PII、以及利用模型生成包含 PII 的内容。

05 模型拒绝服务攻击

模型拒绝服务攻击,指攻击者对大型语言模型(LLM)进行资源密集型操作,导致模型服务降级、不可用,或资源成本大大提升。由于 LLM 的资源密集型、用户输入的不可预测性、模型输出的不唯一性等特征,跟非 LLM 应用相比,LLM 应用的该漏洞攻击会被放大。

OWASP 也于 2023 年 10 月发布了《OWASP 大语言模型人工智能应用 Top 10 安全威胁》,指出了针对 LLM 应用的 Top 10 安全威胁,这跟我们的分析结果是高度吻合的。

备注:

1.《OWASP 大语言模型人工智能应用 Top 10 安全威胁》原文中文版链接:

https://www.llmtop10.com/assets/downloads/OWASP-Top-10-for-LLM-Applications-v1_1_Chinese.pdf

2.OWASP:指开放式 Web 应用程序安全项目(Open Web Application Security Project),是一个非营利组织。

知道创宇推出 LLM 应用防护方案

结合近期 LLM 应用的攻击态势,我们基于云防御推出了 LLM 应用防护方案,涵盖 LLMDDoS 清洗、应用安全、API 安全、内容安全等防护服务。

1、LLM DDoS 清洗

采用抗 D 保CC 防火墙、IP 限制、APP 专用防 CC 策略等功能,对 IP 的访问频率、流量进行限制,对 APP 端的伪造 CC 请求进行清洗,阻挡“模型拒绝服务攻击”。

2、LLM 应用安全

采用创宇盾网站防火墙、协同防御、精准访问控制等功能,拦截 XSS、SQL 注入等常见 Web 应用攻击,并对包含恶意输入内容的“提示词攻击”进行拦截。

3、LLM API 安全

采用创宇盾智能限速、屏蔽时间、精准访问控制等功能,保护 LLM API 免受恶意攻击。API 安全作为 AI 生态链的关键环节,在保障用户数据安全、防止黑客攻击、保护知识产权等方面发挥着至关重要的作用。只有不断加强 API 安全的保障,才能确保整个 AI 生态链的稳定运行和长期发展。

4、LLM 内容安全

采用净网盾、隐私盾,对 LLM 应用源站因遭受恶意攻击,返回的个人敏感信息、仇恨言论、假新闻等内容进行过滤,防止这些敏感数据泄露到互联网,被人非法利用。

如果您对知道创宇的LLM 应用防护方案感兴趣,欢迎关注【知道创宇】公众号咨询。

 

本文由知道创宇原创发布

转载,请参考转载声明,注明出处: https://www.anquanke.com/post/id/293902

安全客 - 有思想的安全新媒体

分享到:微信
+13赞
收藏
知道创宇
分享到:微信

发表评论

内容需知
  • 投稿须知
  • 转载须知
  • 官网QQ群8:819797106
  • 官网QQ群3:830462644(已满)
  • 官网QQ群2:814450983(已满)
  • 官网QQ群1:702511263(已满)
合作单位
  • 安全客
  • 安全客
Copyright © 北京奇虎科技有限公司 360网络攻防实验室 安全客 All Rights Reserved 京ICP备08010314号-66