热点 | 利用AI造谣幼儿园大火被抓，大模型内容安全谁来守护？

近日，公安部网安局通报，某网民为吸引眼球、获取流量，使用AI工具编造“幼儿园突发大火”谣言，在网络上迅速传播，引发众多网友关注和恐慌。公安机关依据相关法律法规，对其作出行政处罚。

这一事件绝非孤例，此前，中央网信办发布的《利用AI生成类谣言辟谣典型案例》显示，当前AI技术呈现爆发式发展态势，利用AI工具造谣的现象也随之增多，从虚假文字通告到逼真火灾视频，从捏造民生谣言到杜撰公共安全事件。当谣言插上AI的翅膀，其生产门槛被前所未有地降低。

面对不断演化的AI生成内容安全挑战，360率先提出“以模制模”防护思路，并将相关能力产品化，推出业界领先的大模型内容安全解决方案“360智盾”，构建原生安全的底层模型，打造了全流程、多种类、多模态、场景化的内容安全体系，通过精准的风险检测、高效的内容拦截与替代机制，帮助企业确保生成内容的合法性、合规性与伦理可靠性，同时提升用户体验和模型输出的可信度。

360智盾支持100多类风险内容的识别过滤，涵盖超200种对抗内容防御机制，支持文本、音频、图片、视频等多种模态的风险防护，并通过平台定制化场景风控策略，满足不同场景的风控需求，检测识别正确率超90%。

目前，360智盾已全面部署于360内部各大模型业务中，为C端用户提供可靠的内容安全保障。同时，360智盾已在政务、金融、交通、能源等重点行业完成落地，持续为行业客户打造更稳固的大模型安全底座，助力其户在AI大模型应用落地过程中实现安全可控。