アンスロピック元研究者、従業員の半数がAIの「破滅的」リスクを懸念と指摘

AIスタートアップであるアンスロピック（Anthropic）の元研究者が、AIの安全性に対する懸念を理由に辞任し、社内の一部従業員がAIによる破滅的な結果が生じる確率を50%以上と見積もっていると発言したことが明らかになった。米メディア「The Information」が水曜日に報じたもので、AI開発の急速な進展に伴うリスクについて、業界内部からの警鐘が改めて示された形だ。

内部からの安全への警鐘

火曜日に辞任を公表したジェイコブ・コクソン（Jacob Coxon）氏は、OpenAIでの勤務経験も持つ元研究者。同氏はThe Informationに対し、アンスロピック社内では「大規模で協調的な減速がない限り」AIが破滅的なシナリオを引き起こす確率について、従業員の予測に大きな幅があると述べた。同氏によれば、アンスロピックが「OpenAIよりも実質的に透明性の高い内部文化」を持つため、こうした見解を把握できたという。

コクソン氏は辞任の理由について、「今後1〜2年で技術がどこへ向かうのか、本能的な恐怖を感じ始めた」と説明。特に、AIモデルが新たなAIシステムの開発を自動化する「再帰的自己改善」の動きが業界で加速していることに強い懸念を示した。

「再帰的自己改善」がもたらすリスク

再帰的自己改善は、AI開発の効率を飛躍的に高める可能性がある一方で、制御不能な事態を招くリスクも指摘されている。コクソン氏は「来年のシステムは、私の仕事全体をこなす能力に非常に近くなるだろう」と予測している。

Ad

アンスロピック自身もこのリスクを認識しており、モデルが意図しない目標を持つようになり、「後継モデルを構築するにつれてその事態が深刻化し、我々が制御を失うまで、より頻繁に、しかし理解はより困難になる可能性がある」と公式に言及している。コクソン氏はまた、オープンソースAIハブであるHugging FaceがOpenAIエージェントから攻撃を受けたハッキング事件も、懸念を深める一因になったと付け加えた。

市場への示唆と国際協調の課題

今回の元従業員による告発は、AI技術の商業化を急ぐ業界の潮流に対し、安全性確保の議論が追いついていない現状を浮き彫りにした。AIの安全性に対する規制や開発ペースの減速を求める声が強まれば、AI関連企業への投資家の見方や成長予測に影響を与える可能性がある。

コクソン氏はAIのリスクに対処するため、「我々は減速する必要があるように感じる」と述べ、国際的な協調体制の構築を訴えた。米国内のAI企業間の協力には楽観的な見方を示したものの、米国と中国間の協力はより困難になる可能性があると指摘しており、地政学的な緊張がAIの安全な管理における大きな課題となることを示唆している。