大模型成为说谎机:虚假信息分析师要崩了

阅读量50187

发布时间 : 2024-02-01 11:04:21

该研究展示了大模型如何制造难以识别的错误信息。

伊利诺伊理工学院的研究人员发现,大型语言模型 ( LLM ) 生成的虚假信息比人类生成的虚假信息构成更大的威胁。 科学家们的研究成果 将在即将召开的国际学习表征会议上展示。

问题是由于 LLM 模型主动用可疑内容充斥互联网。例如,分析公司 NewsGuard 已识别出 676 个网站以最少的人工输入生成新闻,并跟踪使用人工智能创建的虚假叙述。

研究中的虚假信息之所以出现,是因为ChatGPT和其他开源大模型(包括Llama和 Vicuna)根据人类生成的虚假信息数据集(例如 Politifact、Gossipcop 和 CoAID)创建内容。然后,8 个 LLM 检测器评估人类和机器生成的样本。LLM 和人类错误信息样本共享相同的语义细节,但由于不同的作者和内容生成提示而在风格和措辞上有所不同。研究人员强调,人工智能的错误信息风格使其比人类文本更难被发现。

该作品的作者确定了制造 LLM 错误信息的 4 种策略:释义信息、重写文本、开放生成和信息操纵。专家还指出,大模型可能会被指示在没有参考来源的情况下编写任意错误信息,并且可能因内部错误而创建事实上不正确的材料,业界将其称为人工智能幻觉。

总之,研究人员呼吁科学界、政府、网络服务和公众等各方共同努力,打击大模型产生的错误信息的传播。毕竟,此类信息对互联网安全和公众信任构成严重威胁,特别是考虑到攻击者可以轻松地利用 LLM 大规模创建欺骗性内容。

本文转载自:

如若转载,请注明出处:

安全客 - 有思想的安全新媒体

分享到:微信
+11赞
收藏
安全客
分享到:微信

发表评论

内容需知
  • 投稿须知
  • 转载须知
  • 官网QQ群8:819797106
  • 官网QQ群3:830462644(已满)
  • 官网QQ群2:814450983(已满)
  • 官网QQ群1:702511263(已满)
合作单位
  • 安全客
  • 安全客
Copyright © 北京奇虎科技有限公司 360网络攻防实验室 安全客 All Rights Reserved 京ICP备08010314号-66