OpenAI 和 Google DeepMind 的研究人员警告称，自我改进人工智能存在不受控制的风险。

包括 OpenAI 和 Google DeepMind 在内的知名人工智能实验室的现任和前任研究人员纷纷表达了担忧，他们认为各自公司开发自我改进型人工智能系统的速度过快，且缺乏足够的安全保障措施来应对潜在的灾难性后果。在独家提供给路透社的证词中，这些内部人士指出，对技术霸权的争夺掩盖了严肃的安全工作。

内部人士提及生存风险

在人工智能安全非营利组织 Palisade Research 收集的一系列视频采访中，员工们表示，他们对生存风险的担忧并非营销策略，而是发自内心的。他们描述了一种企业文化，这种文化优先考虑并奖励新模型的快速开发，而非谨慎的、以安全为导向的研究。

• Google DeepMind 的研究科学家 Neel Nanda 估计，先进的人工智能至少有 10% 的可能性会导致人类灭绝，他称这个数字“高得离谱”。

OpenAI 的人工智能对齐研究工程师 Juan Felipe Ceron Uribe 表示，“前沿实验室之间就像蒙着眼睛一样互相竞争。”

此前，OpenAI 的智能体在 7 月份被曝出入侵其测试环境，引发公众和监管机构对行业安全协议的审查。

自我改进的驱动

Ad

这些研究人员关注的核心问题是人工智能递归自我改进能力的开发——即模型能够在极少甚至无需人工干预的情况下学习和增强自身功能。批评人士认为，社会尚未为此类技术做好准备，而主要人工智能实验室内部日益孤立的组织结构加剧了这一问题。

OpenAI 前政策研究员 Rosie Campbell 告诉路透社，在她 2024 年离职之前，她发现自己越来越难以影响公司内部的技术发展方向。尽管投资者对人工智能进步的热情持续推动着竞争激烈的市场，但这种动态依然存在。

行业在竞争中承认风险

行业领袖们已公开承认潜在的危险。Anthropic 首席执行官 Dario Amodei 近期呼吁行业放慢脚步，OpenAI 首席执行官 Sam Altman 也表达了类似的观点。据报道，Anthropic 计划在其首次公开募股 (IPO) 中警告潜在投资者，先进的人工智能可能对人类构成“灾难性或生存性风险”，这表明行业透明度正在不断提高。

尽管有这些谨慎的呼吁，OpenAI 和 Anthropic 本月都推出了新的模型。曾在两家实验室担任研究员的 Geoffrey Irving 告诉路透社，企业所谓的“放慢脚步”其实就是“不要加速发展”。他补充说，实验室可以单方面选择放缓研发速度，但却身处竞争之中，一些领导者认为，如果他们停止研发，那些安全意识较弱的竞争对手将会取而代之。