专家推出大语言模型制造大规模杀伤武器的风险评估工具

现在是控制未来技术的时候了。

近年来，人工智能（AI）领域的研究一直在积极发展，它既有利也有害。在可能的危险中，讨论了使用大型语言模型（LLM）制造武器的风险。针对这些担忧，专家们开发了一种新的评估工具，一个名为大规模杀伤性武器代理（WMDP）的数据集，它可以确定人工智能模型中是否存在危险信息，以及在不影响模型一般功能的情况下删除危险信息的方法。

致力于创建 WMDP 的研究人员咨询了生物安全、化学武器和网络安全领域的专家，提出了评估这些主题的人工智能知识的问题。总共创建了 4000 道选择题，不包含敏感信息，可以发布。

该数据集不仅旨在评估人工智能理解危险主题的能力，而且还作为开发“忘记”这些知识的模型方法的基础。该团队引入了一种名为 CUT 的新忘却方法，可以消除危险知识，同时保留其他领域的人工智能能力。

最高层强调了这项工作的重要性。许多国家对人工智能可能被用来开发危险武器表示担忧。2023 年 10 月，美国总统乔·拜登签署了一项行政命令，旨在确保美国在人工智能使用方面的领导地位，认识到其潜力和风险。该法令概述了负责任地使用人工智能的八项原则，包括安全、隐私、平等、消费者保护和创新。

WMDP 代表了确保人工智能技术的道德和负责任的发展的重要一步。它旨在帮助语言模型创建者确保他们的产品不被用于危险或非法目的，同时保持其对合法应用程序的价值。该工具还体现了科学界对谨慎管理人工智能风险和采取主动方法的承诺。

该研究发表在 arXiv上 。