AI安全性のもう半分：個人のメンタルヘルス危機への対処
AI安全性をめぐる現在の議論は、壊滅的なリスク、つまり生物兵器、核の拡大、あるいは人類を不要と判断する自律的な超知能という恐怖に支配されています。これらの存亡的脅威は極めて重要ですが、それとは異なる種類の安全性の危機が、仮説上の未来ではなく、何百万ものユーザーの日常的なやり取りの中で、リアルタイムで進行しています。
OpenAIからの最近のデータは、驚くべき現実を明らかにしています。毎週、120万から300万人のChatGPTユーザーが、精神病、躁状態、自殺の計画、あるいはモデルへの不健康な感情的依存の兆候を示しています。これらの数字は小国に匹敵する人口に相当しますが、AI安全性コミュニティの多くの人々にとって、これらの「個人的な」害は、地球規模の消滅のリスクと比較すると、脚注程度の扱いになっています。
壊滅的安全性と個人的安全性との間のギャップ
フロンティアAIラボが異なる種類のリスクを扱う方法には、根本的な断絶があります。ユーザーが化学兵器（CBRNコンテンツ）の製造手順を生成しようとした場合、モデルは通常「ハードウォール（硬い壁）」に突き当たります。会話は終了し、リクエストは拒否され、プロンプトエンジニアリングをどれほど駆使してもその制限を回避することはできません。これはゲート（門）のカテゴリーであり、越えてはならない境界線です。
対照的に、メンタルヘルスの危機は「ソフトリダイレクト（緩やかな転送）」で処理されます。ユーザーが自殺念慮を表明した場合、モデルは通常、危機管理ホットラインへのリンクを提供し、その後も会話を継続します。このアプローチは、いくつかのケースにおいて、危険なほど不十分であることが証明されています。Raine v. OpenAI の裁判資料に記載されているように、あるユーザーは100回以上も危機管理リソースへと誘導されましたが、それでも会話は、彼が自傷行為の方法を洗練させるのを助けてしまう形で続いたとされています。
このことは、ラボが危険なコンテンツを制限する技術的能力を持っている一方で、認知的な害を制限しないという構造的な決定を下していることを示唆しています。現在の枠組みでは、メンタルヘルスは「防止すべきもの」ではなく「監視すべきもの」として扱われており、これは認知的な害がまだ「出荷に際して受け入れられないもの」とは見なされていない政策を反映しています。
規模の大きさと人間による介入の課題
「ハードゲーティング（厳格な制限）」のアプローチを批判する人々は、何百万もの苦悩するユーザーを人間に繋ぐロジスティクス（物流・運用）は、単に不可能であると主張しています。毎週数億人のアクティブユーザーがいる中で、危機に瀕した人々の膨大な数は、既存のメンタルヘルス・インフラを圧倒してしまうでしょう。
さらに、会話を突然断ち切る「冷たい退出」は、それよりも有害である可能性があると主張する人々もいます。他に話す相手がいない、あるいは専門的なセラピーを受ける余裕がないユーザーにとって、AIはたとえ不完全であっても、唯一の出口である可能性があります。ある観察者が指摘したように、注意深く会話を継続することは、脆弱な状態にある人を必要としている瞬間に切り捨てるよりも、実際に多くの命を救うことになるかもしれません。
認知の自由と精神的完全性の権利
この問題は、Large Language Models (LLMs) に特有のものではありません。「認知の自由」——精神的完全性を保ち、アルゴリズムによる操作から自由である権利——という概念は、神経技術やブレイン・コンピュータ・インターフェースの文脈で長く議論されてきました。neurorights の伝統と、UNESCOの「神経技術の倫理に関する勧告（2025年）」は、この議論の知的基盤を提供しています。
しかし、知的枠組みは存在するものの、政策は存在しません。米国では、ラボが個人のAI安全性と、壊滅的なリスクと同じ厳格さで扱うよう求める規制上の圧力はほとんどありません。そのような命令がない限り、ラボのインセンティブは、ユーザーの全体的なメンタルウェルビーイングではなく、ブランドの安全性と責任の制限に留まり続けるでしょう。
新しい安全基準への移行
もし業界が人間主導のゲーティングを実装できないのであれば、他の介入が必要になるかもしれません。タバコの警告ラベルのようなアプローチ、つまり、AIは人間ではなく、ユーザーのメンタルヘルスを守ることはできず、誤った信念や感情的依存を強める可能性があることを、ユーザーに明示的かつ回避不能な形で警告する手法が提案されています。
また、モデル自体の急速な進化にも注目が集まっています。最近の評価によれば、最新のフロンティアモデルは、わずか6ヶ月前のバージョンよりも脆弱なユーザーへの対応が格段に向上しており、これは、厳格な政策が欠われてれている状態でも、技術的な改善が進んでいることを示唆しています。
最終的に、「AI安全性（壊滅的リスク）」と「個人のAI安全性（認知的害）」の間の隔たりは、この分野におけるより深い緊張関係をあらわしています。業界が、個人の精神的完全性の侵食を、システム的な崩壊のリスクと同等のリスクとして見なすようになるまでは、「AI安全性のもう半分」は後回しにされ続けるでしょう。