OpenAIがMentalHealthBenchを発表

OpenAIは、現実的な精神健康に関する会話を対象にAIシステムの反応を測定するためのオープンベンチマーク「MentalHealthBench」を導入しました。このツールにより、研究者や開発者は多様なシナリオにおいてモデルのパフォーマンスを評価でき、AIの返答が専門家の臨床ガイドラインと整合し、ユーザーの安全と福祉を最優先できるようにします。

極度の重症度レベルにわたる包括的評価

MentalHealthBenchは、従来の緊急事態に焦点を当てた評価を超えています。プライバシーを守る合成された会話を使用して、3つの異なる重症度レベルでモデルをテストしています。

• 非緊急: 感情的な要素を含む日常的な会話。
• 高重症度: 明らかな苦痛や深刻な精神健康上の懸念を示すが、即時的な緊急事態ではない会話。
• 緊急: 精神健康上の緊急事態または即時的安全上の懸念を示す会話で、緊急の現実世界での支援が必要な状況。

ベンチマークには、大人、13〜17歳の青少年、ケアゲイバー、臨床医など多様なユーザーパーソナが含まれており、複数の言語と地域をカバーすることで、さまざまな文化的文脈を捉えています。

専門家主導の基準と手法

このベンチマークは、22か国から集まった80名以上のライセンスを持つ心理学者および精神科医（19言語、ほぼ20の精神健康サブスペシャリティ）との協働によって開発されました。

スコアリングメカニズム

専門家は、各合成会話に対して詳細な基準を策定しました。各基準は-10から+10の範囲で重み付けされており、有益な行動にはプラス点、有害な行動にはマイナス点が与えられます。重みは、その特定の文脈における行動の臨床的重要性を反映しています。

検証と採点

信頼性を確保するために、各会話は少なくとも3人の専門家によってレビューされました。基準は、少なくとも2人の専門家が合意し、第三者が反論しなかった場合にのみ残されます。最終的な評価は、GPT-5.6 Solという自動採点システムが、専門家が作成した基準に基づいてモデルの返答を評価します。

モデルのパフォーマンスと行動次元

最近の最先端モデルの評価では、精神健康に関する状況を扱う能力が継続的に向上していることがわかりました。MentalHealthBenchは、全体スコアを10の具体的なモデル行動次元に分解できるため、研究者が改善すべき正確な領域を特定できます。例えば、OpenAIは、高度なモデルが適切な文脈を求める能力が時間とともに向上していると指摘しています。

ユーザーの視点 vs. 専門家の指導

OpenAIは、16か国・14言語の44名の成人を対象に、専門家の臨床ガイドラインとユーザーの好みを比較する別分析を行いました。この分析により、優先順位の違いが明らかになりました。

• ユーザーの好み: ユーザーはトーンと実用的な次のステップに高い価値を置いている。
• 専門家の指導: 専門家は、関連する文脈を収集し、曖昧な状況を慎重に解釈することの重要性を強調している。

ベンチマークの最終スコアは専門家の合意に基づいていますが、この分析により、AIサポートが持つべき理想的な特性についてより包括的な理解が得られます。

セキュリティエコシステムへの統合

MentalHealthBenchは、OpenAIが敏感な文脈におけるAIの安全性を向上させるための広範な取り組みの一環です。これには、苦痛時にサポートシステムに接続できる「Trusted Contact」の導入、強化された保護機能を備えた「ChatGPT for Teens」のローンチ、およびローカライズされた危機資源へのアクセス拡大が含まれます。