Vitalik 撕裂 AI 未来：人类困在“天真的平方”选择中，提议 AI“关机开关”

以太坊联合创始人 Vitalik Buterin 认为，当前关于高级 AI 的公开争论中，双方都抱着从未明说的假设。他的 AI“关机开关”提案遭到批评，技术社区正就 AI 进展速度及其对就业的影响展开新一轮辩论。

在 X 上，Buterin 指出，AI 2040 情景的支持者与批评者之间的冲突，核心在于 AI 进步的速度和重要性。AI 2040 设想某种超级智能将在 2040 年前出现，除非采取强力措施阻止。而批评者认为，AI 2040 支持者低估了人类协调能力，并威胁自由，但他们并未将超级智能本身视为权力集中风险。

Buterin 承认不知道自己更接近哪种情景。“如果我有信心（当前形式的）AI 是正常技术，我会站在批评者阵营。如果我有信心超级智能将在 2030 年默认出现，我会更接近 AI 2040 阵营。”但他仍对在风险显著时减缓或暂停 AI 开发持开放态度。

这场辩论吸引了 AI 研究员 Yann LeCun、作者 Daniel Jeffries 和政策分析师 Adam Thierer 等人。Meta 首席 AI 科学家 Yann LeCun 认为，AI 安全本质上是工程问题，可以通过谨慎的迭代设计解决，就像喷气发动机变得可靠一样。他指出“飞机花了 50 年”才真正安全，并认为在我们尚未创造出具有人类水平智能的系统之前，对 AI 的恐惧为时过早。他坚持认为大语言模型是有限的“自动补全机器”，缺乏推理和因果理解能力。

用户 Harry Hawk 表示赞同 LeCun，并相信未来 AI 系统会像飞机一样被设计为安全，同时不认为 AI 和机器人会包办一切导致没有工作。Buterin 回应说，这种观点否认了“足以单独执行任何任务的强大 AI”（即 ASI）的存在。

Buterin 提出了“计划 A”：一项宽泛的规则，强制所有人公开其正在构建的内容，并设置一个紧急关闭开关，以便在情况危险时减缓或停止大型 AI 训练。他补充说，“天真且善意的知识分子”试图挑选哪些 AI 用途可以、哪些不行，他们会反对这一计划。

引发 Buterin 讨论的 Romeo Dean 认为该计划“相当合理”，但触发时机在他的世界观下会来得太晚，且他不理解批评者所附带的“巨大缺点”。Buterin 承认没有完美方案：“我看到处理 ASI 转型的计划没有一个不天真。也许人类只能在天真和天真的平方之间做选择。”

AI 2040：Plan A 报告来自前 OpenAI 员工 Daniel Kokotajlo 的 AI Futures Project。报告建议美国和中国合作，将超级智能推迟到 2040 年。两国必须公开共享所有研究，并基于核战争逻辑建立系统：必要时双方可以摧毁对方的算力，他们称之为“相互确保算力销毁”。AI 研究员 Richard Ngo 表示，该报告过于担心 AI 快速到来，且未充分考虑 AI 在各国内部可能造成的政治麻烦。

整个争论的底层是开源模型的状况。LeCun 7月9日写道，AI 的最大风险是“权力集中”在少数主导公司手中，“AI 主权的唯一解决方案是开源基础模型”。同日，作者 Daniel Jeffries 表示开源模型支撑着美国技术，并警告“短视的安全主义者和鹰派”试图限制它。

政策分析师 Adam Thierer（R Street Institute 高级研究员，曾向众议院 AI 工作组提交重要报告）警告称，美国 AI 治理正处于“关键十字路口”。他指出，国会目前审查 AI 的过程混乱、随意且秘密。他警告，如果这种非正式系统扩大，进展被特殊审批所阻碍，将摧毁开源 AI。他提出“无需许可的创新”方法，允许人们自由构建和发布 AI，建议使用现有法律在必要时惩罚损害，并支持为新 AI 设立测试区、要求某些模型保持开放、以及增加 AI 研究资金。