Story
OpenAIがメンタルヘルスのシナリオにおけるAIモデルの応答を評価するためのベンチマークを公開
Summary
OpenAIは、メンタルヘルスに関する会話におけるAI生成応答の質と安全性を評価するために、ライセンスを持つ専門家と共同開発したオープンソースフレームワーク「MentalHealthBench」を発表しました。同社はまた、この新しい基準に基づき、いくつかの大規模言語モデルの初期スコアも公表しました。
OpenAIは水曜日、現実的なメンタルヘルスに関する会話におけるAIモデルのパフォーマンスを評価するために設計された新しいオープンソースベンチマーク「MentalHealthBench」を公開しました。このフレームワークは、22か国から80名以上の資格を持つメンタルヘルス専門家との協力のもと開発され、このデリケートな分野におけるAIの能力評価を標準化することを目的としています。
ベンチマークの構造とパフォーマンス
MentalHealthBenchは、安全性、文脈の把握、ユーザーの主体性の尊重、実用的なガイダンスの提供といった主要な行動に基づいてAIモデルを評価します。OpenAIによると、このベンチマークは様々なシナリオで構成されています。
- 53.5%は、緊急性のない日常的な会話です。
- 28.3%は、差し迫った安全上の懸念を伴う緊急事態をシミュレートします。
- 18.2%は、深刻なメンタルヘルスの問題を示唆する、緊急性の高い会話を対象としています。
OpenAIは、専門家が定義した基準に基づき、自社開発のGPT-5.6 Solモデルを自動評価ツールとして用い、複数のAIモデルをこのベンチマークで評価しました。同社は、GPT-6 Astraが57.3%で最高スコアを獲得し、次いでGPT-6 Solが53.9%、Claude Opus 5.5が52.4%だったと報告した。
専門家主導の評価基準
Ad評価システムは、参加したメンタルヘルス専門家が作成した詳細な評価基準に基づいて構築され、各シナリオは少なくとも3名の専門家によってレビューされた。モデルの応答を採点するために、基準には臨床的重要性に基づいて-10から+10までの重みが割り当てられた。
メンタルヘルスサポートにAIを利用した44名の成人を対象とした別の分析において、OpenAIは、ユーザーが具体的な次のステップと適切なトーンを重視していることを発見した。一方、臨床専門家は、AIが関連するコンテキストを収集し、曖昧な状況を正しく解釈する能力をより重視していた。ベンチマークの最終的な採点基準は、専門家のコンセンサスに基づいて決定された。
背景とより広範な安全対策
MentalHealthBenchの公開は、OpenAIが製品の安全性を向上させるためのより広範な取り組みの一環です。同社は、デリケートな会話におけるChatGPTの応答を強化し、危機対応リソースへのアクセスを拡大したほか、「信頼できる連絡先」オプションや、追加の保護機能を備えた「10代向けChatGPT」といった新機能も導入したと述べています。OpenAIは、このベンチマークを研究者に公開することで、メンタルヘルス分野におけるAIのさらなる発展と検証を促進することを目指しています。