为了避免人工智能驱动的“知识崩溃”,人类必须积极保留专业知识

阅读量38637

发布时间 : 2024-04-17 11:32:49

大型语言模型可以使信息更容易获取,但人工智能研究员安德鲁·J·彼得森警告说,它会带来负面的长期影响:“知识崩溃”。

像LLM这样的基础模型改变了我们获取和生成信息的方式。然而,普瓦捷大学的安德鲁·J·彼得森(Andrew J. Peterson)的一项新理论研究警告说,过度依赖人工智能生成的内容可能会导致他称之为“知识崩溃”的现象——人类可获得的信息逐渐缩小,随之而来的认知范围也缩小。寻求多样化知识的感知价值。

“许多现实世界的问题没有明确定义的、可验证的真假答案,”他写道。例如,如果用户问“什么导致通货膨胀?”LLM的答案是“货币政策”,根据彼得森的说法,问题不是幻觉,而是未能反映问题可能答案的完整分布,或者至少未能提供对主要流派的概述。经济思想。

彼得森认为,虽然LLM接受了大量数据的训练,但他们自然倾向于生成围绕训练数据中最常见观点的输出。因此,广泛递归地使用人工智能系统来获取信息可能会导致忽视罕见的、专业的和非正统的想法,转而支持越来越狭隘的流行观点。这不仅仅是知识的损失,这种效应还限制了“认知视野”,彼得森将其定义为一群人认为实际上可能且值得了解的知识量。

彼得森写道:“这种对人类知识尾部的限制将对一系列问题产生重大影响,包括公平、包容多样性、创新收益损失以及人类文化遗产的保护。”

模型显示成本是知识崩溃的驱动因素

为了研究知识崩溃的动态,彼得森开发了一个模型,在该模型中,学习者或创新者社区可以在获取知识的传统方法和依赖打折的人工智能辅助过程之间进行选择。结果表明,如果个人认为寻找不同信息源有足够的价值,那么知识崩溃就可以得到缓解。然而,如果人工智能生成的内容相对于传统方法变得足够便宜,或者如果人工智能系统变得递归地依赖于其他人工智能生成的数据,那么随着时间的推移,公共知识可能会显着退化。

例如,在彼得森的模拟中,与根本没有人工智能选项相比,当人工智能在获取信息方面提供 20% 的折扣时,公众的信念最终与事实相差了 2.3 倍。随着公众根据上一代人保存的知识来确定其“认知视野”,这种影响会随着几代人的推移而变得更加复杂。

为了应对知识崩溃,彼得森建议采取保障措施,防止完全依赖人工智能生成的信息,并确保人类继续投资于保存可能被人工智能摘要和报告忽视的专业知识。他还强调了避免依赖其他人工智能生成内容作为输入数据的递归人工智能系统的重要性。

虽然很多注意力都集中在LLM虚假信息当作事实的倾向上,但彼得森认为,更大的问题可能是缺乏代表性——人工智能未能反映对缺乏单一可验证答案的复杂问题的可能观点的全面分布。 。他表示,在教育环境中应特别注意,教会学生不仅要评估人工智能生成内容的准确性,还要评估观点的多样性。

本文转载自:

如若转载,请注明出处: https://the-decoder.com/to-avoid-ai-driven-knowledge-collapse-humans-must-actively-preserve-specialized-expertise/

安全客 - 有思想的安全新媒体

分享到:微信
+12赞
收藏
安全客
分享到:微信

发表评论

内容需知
  • 投稿须知
  • 转载须知
  • 官网QQ群8:819797106
  • 官网QQ群3:830462644(已满)
  • 官网QQ群2:814450983(已满)
  • 官网QQ群1:702511263(已满)
合作单位
  • 安全客
  • 安全客
Copyright © 北京奇虎科技有限公司 360网络攻防实验室 安全客 All Rights Reserved 京ICP备08010314号-66