Story
Anthropic數據揭示：AI正加速接管自身研發，引發「遞迴式自我改進」擔憂
人工智慧（AI）公司Anthropic發布的最新數據顯示，其AI模型正日益主導自身的研發工作，為關於AI長期風險的辯論提供了新的量化指標。這項發展尤其觸及了「遞迴式自我改進」的核心議題，即AI能力是否會以失控的速度加速增長。
AI主導研發比例飆升
根據Anthropic的報告，其AI模型Claude目前「主導」了公司 26% 的AI研發工作。這一數字在今年二月時還不到 1%，顯示出驚人的增長速度。Anthropic對「主導」的定義是：在人類監督下，AI能根據一個高階指令，從頭到尾完成大部分任務。
報告進一步指出，超過 90% 的AI研發工作達到了AI與人類「協作」的水平。這些數據的重要性不僅在於26%這個數字本身，更在於其背後可能形成的潛在回饋循環：AI進行AI研究，研究成果產生更強大的AI，而更強大的AI又能進行更多、更深入的AI研究。
「遞迴式自我改進」的隱憂
這種自我強化的循環，正是「遞迴式自我改進」（recursive self-improvement）情境的關鍵組成部分，也是長期以來引發部分專家對先進AI風險擔憂（俗稱「AI末日論」）的主要原因。
AdAnthropic透露，在今年八月，其最常用的內部平台上約有 30,000個 AI代理程式同時進行研究與工程工作。該公司在當月分析了超過10億次的代理程式決策，其中約有0.002%的決策被線上監控系統阻止。
關鍵門檻未至 但趨勢值得關注
儘管數據增長迅速，Anthropic強調，目前尚未達到「遞迴式自我改進」情境中最重要的門檻：完全自主的AI研發。在其測量的任何研發環節中，Claude都尚未實現自主運作，這意味著人類專家仍然在決策迴路中扮演關鍵角色。
然而，變化的速度依然引人注目。此外，數據顯示在七月的某一周內，用於AI驅動的AI研發的運算資源中，約有 12% 被投入到安全相關工作上。不過，該公司也提醒，單純以運算資源來衡量安全投入並不完全精確。
總體而言，這些測量數據雖未證明「遞迴式自我改進」已經到來，但它們提供了一個具體的框架，用以追蹤AI接管未來AI建構工作的速度。隨著人類在開發迴路中的角色可能持續縮小，這一趨勢的重要性將日益凸顯。