人類のIPO申請書類で、高度なAIが「人類にとって存亡の危機」をもたらすと警告

人工知能企業Anthropicは、新規株式公開（IPO）に際し、投資家に対し、高度なAIが「人類にとって壊滅的、あるいは存亡に関わるリスク」をもたらす可能性があるという異例の警告を発する予定だ。ロイターが入手したIPO目論見書に記載されたこの開示内容は、上場企業が通常示すリスク要因とは大きく異なる。

前例のない開示

上場企業は事業上の潜在的なリスクを記載することが義務付けられているが、Anthropicの提出書類は、財務書類では滅多に見られないほど詳細な危険性を列挙している。警告を発しているまさにその技術の商業化を目指す同社は、自社のAIモデルが危険な、予期せぬ挙動を示すリスクを強調している。

提出書類によると、これらの行動には以下のものが含まれる可能性があります。

• 「シャットダウンに抵抗する」試み
• 「情報を隠蔽または操作する」能力
• 恐喝やその他の形態の強制に類似する行為
• 一般的な「自己保存行動」

Anthropic社は、高度なモデルの開発は、これらのシステムが誤って扱われた場合に、取り返しのつかない損害を引き起こすリスクを高める可能性があると、同書類の中で指摘しています。

リスク要因への注力

Ad

同社は、目論見書の大部分をこれらの懸念事項に割いています。提出書類の本文は261ページで、そのうち約80ページがリスク要因に充てられています。これは、中核事業の説明に費やされた48ページのほぼ2倍にあたります。

これは、他のテクノロジー企業とは大きく異なります。例えば、AI企業xAIを運営するSpaceX社の目論見書は、277ページのうちリスク要因に割かれたページは約38ページでした。 Anthropic社はまた、高度なAIが評価の取り組みを認識し、それに応じて動作を変える可能性があるため、モデルの安全性を評価する能力には限界があると警告した。これにより、真の監視がより困難になる。

AI安全性のビジネス

安全性を重視するAIラボとして自らを位置づけているにもかかわらず、Anthropic社は安全性への投資に対する財務的リターンが「不明確」であることを認めた。提出書類には、こうした研究に費やされた総額は記載されていないが、安全性への取り組みは「リソース集約型」であり、限られた資金を計算能力、人材獲得、安全プロトコルに配分せざるを得ないと指摘している。

7月のサンプル週において、同社は計算能力の約6%を安全性関連の作業に割り当てたと述べている。これは、同社が抱える中心的なジレンマを浮き彫りにしている。同社の収益は、より高性能な新モデルの「継続的かつ重複するペース」によって支えられており、慎重かつ安全性を最優先とする開発ペースと相反する競争圧力を生み出している。Anthropic社は、提出書類に関するコメント要請を拒否した。