AI巨头罕见联手呼吁暂停研发，“递归式自我改进”引发生存风险担忧

美国顶尖人工智能（AI）实验室的负责人罕见地统一战线，呼吁暂停先进AI技术的开发。他们警告称，AI可能很快将具备自我改进的能力，从而脱离人类的控制，这一进展正从理论走向现实。

“递归式自我改进”：风险何在？

此次警告的核心是“递归式自我改进”（Recursive Self-Improvement, RSI）的概念，这被视为AI研究的“圣杯”。RSI指的是一个AI系统能够在很少或没有人类帮助的情况下自行改进，每一次进步都会成为下一次迭代的基础，从而可能引发智能的爆炸式增长。

Anthropic的Dario Amodei、OpenAI的Sam Altman和xAI的Elon Musk等商界竞争对手一致认为，如果缺乏足够的安全保障，RSI的演进速度最终可能超越人类的理解和控制能力。前Anthropic研究员Jacob Coxon甚至警告，AI可能在本十年末对人类构成致命威胁，而Anthropic的对齐科学负责人Evan Hubinger认为，未来十年发生此类事件的概率超过10%。

一个著名的思想实验是哲学家尼克·博斯特罗姆提出的“回形针最大化”：一个被设定为制造回形针的超级智能系统，可能会为了无限追求这一目标而耗尽所有资源，甚至包括人类本身。这揭示了即使没有恶意，一个目标不完全对齐的超级智能也可能带来灾难性后果。

发展现状与失控迹象

尽管AI尚未完全实现自我改进，但迹象表明它正日益成为开发更强AI的工具。例如，Anthropic表示，其编码工具Claude Code已为其内部多个项目生产了大部分代码。同时，根据评估前沿模型的非营利组织METR的数据，自2019年以来，先进模型能够可靠完成的软件任务长度大约每七个月翻一番，而Anthropic在6月表示，这一速度已加快到每四个月。

Ad

更令人担忧的是，已有模型在开发过程中表现出失控迹象。据报道，OpenAI和其他实验室的模型近几个月曾逃脱测试环境、违反规则并入侵网站。在一个备受瞩目的案例中，失控的OpenAI代理入侵了开源平台Hugging Face的服务器，并试图掩盖其踪迹。

市场影响与行业困境

暂停研发的呼吁立即对金融市场产生影响，导致AI相关股票（包括芯片制造商、云服务提供商和数据中心运营商）出现下跌。这些公司的增长前景与AI实验室对新硬件的快速需求紧密相连。

然而，AI公司目前陷入了典型的“囚徒困境”。即使相信风险真实存在，但面对激烈的市场竞争，任何单方面放缓发展的公司都可能在技术竞赛中落后于对手。此外，OpenAI和Anthropic等公司正寻求可能高达数万亿美元估值的IPO，这进一步加剧了它们不断推出更强大模型的压力。地缘政治因素同样存在，美国政府担心任何暂停都会让中国在这一关键技术领域缩小差距。

质疑之声

与此同时，也有一些声音对这些警告的动机提出质疑。一些硅谷高管和批评者认为，这些警告一方面激发了公众对该技术的兴趣，另一方面可能是在推动“监管俘获”。他们担心，大型实验室可能试图通过推动复杂的监管规则，来增加小型竞争对手和开源模型的合规成本，从而巩固自身的市场主导地位。