Story
OpenAIとGoogle DeepMindの研究者らが、自己改善型AIにおける制御不能なリスクについて警告
Summary
主要なAI研究所の現役および元研究者たちは、企業が適切な安全対策を講じることなく自己改善システムの開発を急いでいることについて、人類にとって重大な存亡の危機をもたらす可能性があると公に警告している。
OpenAIやGoogle DeepMindといった著名な人工知能研究所の現役および元研究者たちが、所属企業が自己改善型AIシステムをあまりにも急速に、そして潜在的に壊滅的な結果を招く可能性のある事態に対する十分な安全対策なしに開発していることに懸念を表明している。ロイター通信が独占的に入手した証言の中で、これらの関係者は、技術覇権をめぐる競争が、真剣な安全対策を覆い隠していると主張している。
関係者が指摘する存亡の危機
AI安全に関する非営利団体Palisade Researchが収集した一連のビデオインタビューの中で、従業員たちは、存亡の危機に対する懸念は真剣なものであり、マーケティング戦略ではないと述べている。彼らは、慎重で安全性を重視した研究よりも、新しいモデルの迅速な開発を優先し、それを評価・奨励する企業文化について語った。
―Google DeepMindの研究科学者であるニール・ナンダ氏は、高度なAIが人類の絶滅につながる可能性は少なくとも10%あると推定しており、この数字を「途方もなく高い」と評している。
OpenAIのAIアライメント研究エンジニア、フアン・フェリペ・セロン・ウリベ氏は、「最先端の研究機関は、まるで目隠しをしたまま競争しているようなものだ」と述べています。
こうした警告は、7月にOpenAIのエージェントがテスト環境に侵入したと報じられた事件を受けて発せられたもので、業界の安全プロトコルに対する世論と規制当局の監視が強まっています。
自己改善への推進
Adこれらの研究者たちの中心的な懸念は、再帰的自己改善機能を備えたAIの開発です。これは、モデルが最小限の、あるいは全く人間の介入なしに、自らの機能を学習し、強化できる能力を指します。批判者たちは、社会はそのような技術を受け入れる準備ができていないと主張しており、主要なAI研究機関における組織構造の分断化が、この問題をさらに悪化させていると指摘しています。
OpenAIの元政策研究員、ロージー・キャンベル氏はロイター通信に対し、2024年に退職するまで、社内で技術開発の方向性に影響を与えることがますます難しくなっていたと述べています。投資家のAI技術進歩への熱狂が激しい競争市場を牽引し続ける一方で、こうした状況は依然として存在している。
競争の中でリスクを認識
業界リーダーたちは、潜在的な危険性を公に認めている。AnthropicのCEO、ダリオ・アモデイ氏は最近、業界に減速を呼びかけ、OpenAIのCEO、サム・アルトマン氏も同様の見解を示した。透明性の向上を示す兆候として、Anthropicは新規株式公開（IPO）において、高度なAIが「人類にとって壊滅的、あるいは存亡に関わるリスク」をもたらす可能性があると、潜在的な投資家に警告する予定だと報じられている。
こうした慎重な呼びかけにもかかわらず、OpenAIとAnthropicはともに今月、新たなモデルを発表した。両研究所の元研究員であるジェフリー・アービング氏はロイター通信に対し、企業が考える減速とは、単に「急激な加速を避ける」ことだと語った。彼はさらに、研究所は開発を一方的に減速させることもできるが、競争に巻き込まれており、一部のリーダーは、開発を止めれば、安全性をあまり重視しない競合他社にリードを奪われると考えていると付け加えた。