Story
OpenAI發布基準測試，用於評估人工智慧模型在心理健康場景中的反應
Summary
OpenAI推出了MentalHealthBench，這是一個與授權專家共同開發的開源框架，用於評估人工智慧在心理健康對話中產生的回應的品質和安全性。該公司還公佈了幾個大型語言模型根據新標準給出的初步評分。
OpenAI 於週三發布了 MentalHealthBench，這是一個全新的開源基準測試，旨在評估人工智慧模型在真實心理健康對話中的表現。該框架由 OpenAI 與來自 22 個國家的 80 多位持證心理健康專家合作開發，旨在規範人工智慧在這一敏感領域的評估能力。
基準測試結構和效能
MentalHealthBench 從安全、尋求上下文、維護用戶自主權和提供可操作指導等關鍵行為方面評估人工智慧模型。據 OpenAI 稱，該基準測試包含多種場景：
- 53.5% 涉及非緊急情況的日常對話。
- 28.3% 模擬緊急安全隱患的緊急情況。
- 18.2% 涵蓋顯示存在嚴重心理健康問題的高風險對話。
OpenAI 使用此基準測試評估了多個人工智慧模型，其中其自主研發的 GPT-5.6 Sol 模型作為自動評分器，根據專家定義的標準進行評分。該公司報告稱，GPT-6 Astra 以 57.3% 的得分位居榜首，其次是 GPT-6 Sol（53.9%）和 Claude Opus 5.5（52.4%）。
專家主導的評估標準
Ad該評估系統基於參與的心理健康專家製定的詳細評分標準構建，每個場景均由至少三位專業人士進行審查。根據臨床重要性，各項標準被賦予 -10 到 +10 的權重，用於對模型回應進行評分。
在另一項針對 44 位曾經使用人工智慧進行心理健康支援的成年人的分析中，OpenAI 發現使用者重視切實可行的後續步驟和適當的語氣。相較之下，臨床專家更強調人工智慧收集相關背景資訊和正確解讀模糊情況的能力。此基準測試的最終評分標準是基於專家共識。
背景和更廣泛的安全措施
MentalHealthBench 的發布是 OpenAI 為提升其產品安全性所採取的更廣泛措施的一部分。該公司表示，他們還加強了 ChatGPT 在敏感對話中的反應能力，擴大了危機資源的獲取途徑，並推出了「可信任聯絡人」選項和具有額外保護措施的「青少年版 ChatGPT」等新功能。透過向研究人員開放基準測試，OpenAI 旨在促進人工智慧在心理健康領域的進一步發展和研究。