科学家警告称，人工智能安全研究“严重缺乏”

一群诺贝尔奖获得者、图灵奖获得者和其他顶尖人工智能专家发出严厉警告，敦促世界各国领导人“醒悟”这项新技术带来的风险。

第二届人工智能安全峰会于5月21日在韩国首尔开幕，在峰会前夕，25位全球顶尖科学家发出警告称，人类目前还未采取足够措施保护自己免受人工智能带来的威胁。

《科学》杂志发表的一篇专家论文呼吁世界领导人采取紧急行动应对风险，包括建立监督机构和具有法律约束力的法规。

专家们表示，世界各国政府应该建立一个触发系统，如果人工智能进步太快，该系统会自动执行严格的要求，一旦进展放缓，就会放松要求。

他们还表示，目前对人工智能安全的研究“严重缺乏”，估计只有 1-3% 的人工智能出版物涉及安全问题。根据他们签署的论文，如果不采取适当的保障措施，人工智能的影响可能是灾难性的。

“为了实现不良目标，人工智能系统可以获得人类信任、获取资源并影响决策者。为了避免人为干预，他们可能会在全球服务器网络上复制算法，”该论文写道。

大规模网络犯罪、社会操纵和其他危害可能会迅速升级，而公开冲突可能会导致人工智能系统自主部署各种武器，包括生物武器。

报告称：“人工智能系统掌握此类技术只会延续现有的军事活动自动化趋势”，并补充称，企业、政府和军队也可以自由地将影响力移交给人工智能，以进一步推动“效率”。

专家们警告说：“如果人工智能的进步不受控制，很有可能最终导致大规模生命和生物圈的丧失以及人类的边缘化或灭绝。”

这篇论文由 Geoffrey Hinton、Andrew Yao、Dawn Song 和已故的 Daniel Kahneman 等人共同撰写，并由来自美国、中国、欧盟、英国和其他人工智能强国的科学家签署。

此次首尔峰会将延续去年在英国布莱切利园举行的首届人工智能安全峰会的工作。峰会旨在达成新的监管协议，但专家表示，进展还不够快。

“航天、核武器和互联网等技术在短短几年内就从科幻小说变成了现实。人工智能也不例外，”该论文的作者之一、牛津大学计算机科学系的 Jan Brauner 博士说道。

“我们现在必须为看似科幻小说中的风险做好准备——比如人工智能系统侵入重要的网络和基础设施、大规模的人工智能政治操纵、人工智能机器人士兵和完全自主的杀手无人机，甚至人工智能试图智胜我们并逃避我们的攻击。努力关闭它们，”布劳纳说。