Story
AIの「自己改善」リスク、大手トップらが開発停止を提言
Summary
OpenAIやAnthropicなど、競合するAI企業のトップらが、AIが自律的に進化し人間の制御を超える「再帰的自己改善」のリスクを警告し、開発の一時停止を共同で呼びかける異例の事態となっている。
米国の主要な人工知能（AI）研究所のトップらが、AI開発の一時停止を求める共同声明を発表した。激しいビジネス上の競合関係にあるOpenAIのサム・アルトマン氏、Anthropicのダリオ・アモデイ氏、xAIのイーロン・マスク氏らは、AIが近く自己を改良し始め、人間の制御を超えてしまう可能性について警告している。
「再帰的自己改善」がもたらす生存リスク
専門家が懸念の中心に据えるのが「再帰的自己改善（RSI）」という概念だ。これは、AIシステムが人間の助けをほとんど、あるいは全く借りずに自己の性能を向上させ、その進歩が次の進歩を生み出すという、AI研究における究極の目標の一つである。
この警告が緊急性を帯びたのは、主要なAI研究所の研究者らが、人類の生存に関わるリスクに具体的なタイムラインと確率を提示したためだ。Anthropicのアライメント科学責任者であるエヴァン・ハビンジャー氏は、今後10年以内にそのような事態が発生する可能性が10%以上あると指摘。AIが人間の価値観と整合性を保つ（アラインメント）ための信頼できる手法が確立される前に、AIが自己改善能力を獲得してしまうことへの懸念が強まっている。
Ad開発競争のジレンマと市場への影響
リスクが認識されているにもかかわらず、開発が止まらない背景には「囚人のジレンマ」があると多くの研究者は指摘する。ある企業が開発を遅らせれば、世界の技術覇権を争う競争でライバルに遅れをとるという強いプレッシャーに直面している。特にOpenAIやAnthropicは、将来のモデルの進歩を前提とした数兆ドル規模の新規株式公開（IPO）を目指しており、経済的なインセンティブも大きい。
この開発停止の呼びかけは、株式市場にも影響を及ぼした。AI関連株は下落し、半導体メーカーやクラウド事業者など、AI開発の速度に収益が連動する企業の成長見通しに影を落としている。一方で、一部の批評家は、これらの警告がオープンソースモデルとの差が縮まる中で、規制を導入して新規参入者のコストを引き上げ、競争を阻害する「規制の虜」を狙った動きではないかとの懐疑的な見方を示している。