人工智能系统具有与人类竞争的智能，这可能对社会和人类造成深远的风险，这一点已经得到了广泛的研究[1]证实，并得到了顶级 AI 实验室的认可[2]。正如广泛认可的阿西洛马人工智能原则所指出的，先进的 AI 可能代表着地球生命历史上的深刻变革，应该以相应的关注和资源来计划和管理。不幸的是，尽管最近几个月 AI 实验室正陷入一场无法控制的竞赛，试图开发和部署越来越强大的数字智能，但这种规划和管理并未实现，甚至连它们的创造者也无法理解、预测或可靠地控制这些智能。

现代 AI 系统正逐渐在通用任务上实现与人类竞争的水平[3]，我们必须问自己：我们应该让机器充斥我们的信息渠道，散布宣传和不实信息吗？我们应该自动化所有工作，包括那些令人满意的工作吗？我们应该发展可能最终比我们更多、更聪明、更先进、取代我们的非人类智能吗？我们应该冒着失去对文明的控制的风险吗？这些决定不应该被委托给未经选举的科技领导者。只有当我们确信 AI 系统的影响是积极的，风险是可控的时候，才应该开发强大的 AI 系统。这种信心必须有充分的理由，并随着系统潜在影响的增加而增加。OpenAI 最近关于人工智能的声明指出：“在某个时候，可能需要在开始训练未来系统之前获得独立审查，并要求最先进的努力同意限制用于创建新模型的计算增长。”我们同意。现在就是那个时候。

因此，我们呼吁所有 AI 实验室立即暂停至少 6 个月的时间，停止训练比 GPT-4 更强大的 AI 系统。这个暂停应该是公开和可验证的，并包括所有关键参与者。如果这样的暂停无法迅速实施，政府应该介入并实行一个暂停令。

AI 实验室和独立专家应该利用这个暂停期共同制定和实施一套共享的 AI 设计和开发安全协议，这些协议应

由独立的外部专家严格审核和监督。这些协议应确保遵守它们的系统在合理怀疑范围之外是安全的[4]。这并不意味着暂停整个 AI 领域的发展，而仅仅是从危险的竞赛中退一步，避免研究更大、更难以预测、具有突现性能力的黑箱模型。

AI 研究和发展应该重新聚焦于使现有的强大、最先进的系统更加准确、安全、可解释、透明、健壮、对齐、可信和忠诚。

同时，AI 开发人员必须与政策制定者合作，大力加速 AI 治理系统的发展。至少应包括：专门负责 AI 的新型和有能力的监管机构；对高能力 AI 系统和大量计算能力的监督和跟踪；用于区分真实与合成内容并跟踪模型泄漏的来源和水印系统；强大的审计和认证生态系统；对 AI 造成的损害承担责任；对技术 AI 安全研究的强大公共资金支持；以及应对 AI 带来的剧变（尤其是对民主制度）的经济和政治破坏的资源充足的机构。

人类可以与 AI 共享美好的未来。在成功创建强大的 AI 系统之后，我们现在可以享受一个“AI 夏天”，在这个夏天里，我们可以收获成果，为所有人明确地造福，并让社会有机会适应。社会已经在其他可能对社会产生灾难性影响的技术上按下了暂停键[5]。我们在这里也可以做到。让我们享受一个漫长的 AI 夏天，而不是毫无准备地冲进秋天。

签名人

Yoshua Bengio，蒙特利尔大学，因开发深度学习而获得图灵奖，蒙特利尔学习算法研究所所长

Stuart Russell，伯克利，计算机科学教授，智能系统中心主任，标准教科书“人工智能：现代方法”的合著者

Elon Musk，SpaceX、Tesla 和 Twitter 的首席执行官

Steve Wozniak，苹果联合创始人

Yuval Noah Harari，作家和耶路撒冷希伯来大学教授。

Andrew Yang，前锋党联席主席，2020 年总统候选人，纽约时报畅销书作家，全球创业总统大使

Connor Leahy，Conjecture 首席执行官

Jaan Tallinn，Skype 联合创始人，生命风险研究所未来研究中心

Evan Sharp，联合创始人，Pinterest

Chris Larsen，Ripple 联合创始人

Stability AI 首席执行官 Emad Mostaque

John J Hopfield，普林斯顿大学名誉教授，联想神经网络的发明者

Francesc Giralt，Rovira i Virgili 大学名誉教授，荣获加泰罗尼亚 Narcís Monturiol 奖章

Joseph Sifakis，Verimag，格勒诺布尔阿尔卑斯大学，CNRS 名誉研究主任，2007 年图灵奖

Wyatt Tessari L'Allié，AIGS 加拿大公司创始人兼执行董事

John Wettlaufer，耶鲁大学和北欧理论物理研究所，诺贝尔物理学委员会教授；古根海姆研究员；美国地球物理学会会士；美国物理学会会士

Pablo Jarillo-Herrero，麻省理工学院，物理学教授，美国国家科学院沃尔夫物理学奖

Philip Larrey，人类 2.0 基金会主席

Kyle Ruddick，地球上的一天，Helo，Kinetic Magic，导演 / 创始人，世界纪录 - 全球最多的电影制作

George Dyson，Unaffiliated，《机器中的达尔文》（1997 年）、《图灵大教堂》（2012 年）、《模拟：可编程控制之外的技术的出现》（2020 年）的作者。

ps：签名列表很长，具体参考原文：

https://futureoflife.org/open-letter/pause-giant-ai-experiments/