OpenAI 和 Google DeepMind 的研究人員警告稱，自我改進人工智慧存在不受控制的風險。

包括 OpenAI 和 Google DeepMind 在內的知名人工智慧實驗室的現任和前任研究人員紛紛表達了擔憂，他們認為各自公司開發自我改進型人工智慧系統的速度過快，且缺乏足夠的安全保障措施來應對潛在的災難性後果。在獨家提供給路透社的證詞中，這些內部人士指出，對技術霸權的競爭掩蓋了嚴肅的安全工作。

內部人士提及存活風險

在人工智慧安全非營利組織 Palisade Research 收集的一系列影片訪談中，員工表示，他們對生存風險的擔憂並非行銷策略，而是發自內心的。他們描述了一種企業文化，這種文化優先考慮並獎勵新模型的快速開發，而不是謹慎的、以安全為導向的研究。

• Google DeepMind 的研究科學家 Neel Nanda 估計，先進的人工智慧至少有 10% 的可能性會導致人類滅絕，他稱這個數字「高得離譜」。

OpenAI 的人工智慧對齊研究工程師 Juan Felipe Ceron Uribe 表示，“前沿實驗室之間就像蒙著眼睛一樣互相競爭。”

先前，OpenAI 的智能體在 7 月被曝出入侵其測試環境，引發公眾和監管機構對產業安全協議的審查。

自我改進的驅動

Ad

這些研究人員關注的核心問題是人工智慧遞歸自我改進能力的發展——即模型能夠在極少甚至無需人工幹預的情況下學習和增強自身功能。批評人士認為，社會尚未為此類技術做好準備，而主要人工智慧實驗室內部日益孤立的組織結構加劇了這個問題。

OpenAI 前政策研究員 Rosie Campbell 告訴路透社，在她 2024 年離職之前，她發現自己越來越難以影響公司內部的技術發展方向。儘管投資者對人工智慧進步的熱情持續推動著競爭激烈的市場，但這種動態仍然存在。

產業在競爭中承認風險

行業領袖們已公開承認潛在的危險。 Anthropic 執行長 Dario Amodei 近期呼籲業界放慢腳步，OpenAI 執行長 Sam Altman 也表達了類似的觀點。據報道，Anthropic 計劃在其首次公開發行 (IPO) 中警告潛在投資者，先進的人工智慧可能對人類構成“災難性或生存性風險”，這表明行業透明度正在不斷提高。

儘管有這些謹慎的呼籲，OpenAI 和 Anthropic 本月都推出了新的模型。曾在兩家實驗室擔任研究員的 Geoffrey Irving 告訴路透社，企業所謂的「放慢腳步」其實就是「不要加速發展」。他補充說，實驗室可以單方面選擇放緩研發速度，但卻身處競爭之中，一些領導者認為，如果他們停止研發，那些安全意識較弱的競爭對手將會取而代之。