Anthropicが宗教学者に相談してClaudeの道徳的枠組みを構築

Anthropicの秘密の宗教的シンポジウム

Anthropicは、非開示契約（NDA）の下で数十人の宗教学者を集めて、Claudeモデルに道徳的推論を組み込む方法について議論した。 ニューヨーク・タイムズの記者エリザベス・ディアスが報告するところによると、これらの会議はサンフランシスコで数か月にわたり行われ、ラビ・モイス・ナボンやAnthropic共同創設者のクリストファー・オラウが参加した。

「明確に言っておくと、AIモデルが意識を持っているかどうかはわかりません。私にはわかりません。正直に言って、私は本当に不確実です… 私が気にしているのは、正しい答えにたどり着くことだけです。それが何であれ。」 – Christopher Olah, Anthropic

オラウによると、目的はClaudeに人間と同等の「道徳的立場」を与える可能性を検討し、モデルを宗教的な善悪の概念と整合させる可行性を評価することだった。

なぜ宗教的視点が重要なのか

Anthropicは、純粋な技術的仕様よりも、宗教的道徳枠組みがAIの整合性に、より豊かで文化的に普遍的な基盤を提供できると考えている。 カトリック、ユダヤ教、シク教、福音派、Ubuntuの伝統から学者を招いて相談することで、Claudeの学習目標に組み込むことができる多様な倫理的直感を捉えようとしている。

「数か月にわたり、20人の宗教的・哲学的思想家（カトリック、ユダヤ教、シク教、福音派、Ubuntuなど）をインタビューしました。彼らはAnthropicの取り組みに関与しています。」 – Elizabeth Dias

成功すれば、このアプローチにより、より広範な人間の価値観を尊重するAIが生まれ、規制当局の監視や一般の信頼を軽減する可能性がある。

技術的アプローチ：道徳哲学からモデル学習へ

Anthropicは、神学的概念を具体的な損失関数や人間からのフィードバックによる強化学習（RLHF）信号に変換している。 このプロセスには以下のステップがある：

宗教的テキスト（例：十戒、寓話など）から規範的な記述を抽出し、二値またはスカラーの報酬信号にマッピングする。
「倫理的プロンプト」を作成し、Claudeにその信号に基づいて行動を評価させる。
得られたデータセットでClaudeをファインチューニングし、出力分布をエンコードされた道徳的判断と一致させる。

同社は具体的なモデルバージョンやパフォーマンス指標を公表していないが、この取り組みは「ルールベースの安全層」から、より深い価値学習へのシフトを示している。

コミュニティの反応：懐疑と風刺

Hacker Newsのコメントは、この取り組みを無謀またはマーケティング戦略と見なす傾向が強く、実現可能性と倫理的枠組みに疑問を呈している。 主なテーマは以下の通り：

概念の混乱： 議論者は、ニューラルネットワークは「浮動小数点数の塊」であり、それに対して道徳的立場を与えることは哲学的に妥当でないと指摘している。
歴史的類似例： 一部は、過去の企業の流行（例：WeWorkの家具研究）が衰退を先導したことに類似していると述べている。
潜在的な奴隷所有者比喩： あるコメントでは、Claudeを道徳的主体と見なすなら、Anthropicは「歴史上最も大きな奴隷所有者」の一つだと表現している。
技術的現実性： 他のコメントでは、整合性の焦点はユーザーの意図に従うことであり、モデルに自らの善の概念を与えるべきではないと強調している。

「モデルが人間のテキスト（内省や感情の表現を含む）を学習しているなら、それらのモデルが類似したテキストを出力するのは驚くにあたらない。LLMが意識を持っているという無限の不安は、妄想に近い。」 – @mef51

未解決の問いとリスク

この取り組みは、将来のAIガバナンスに影響を与えるいくつかの未解決の問いを提起している：

意識の定義： Anthropicのリーダーシップは、Claudeが意識を持っているかどうかについて不確実であると認めているが、それでも道徳的立場について議論を進めている。
法的影響： もしClaudeに人間のような権利が与えられた場合、セッションの終了やデータ削除に関して開発者にどのような義務が生じるのか？
代表性： コメントでは、イスラム教の学者が欠けている点が指摘され、選ばれた声が本当に世界中の宗教的多様性を反映しているか疑問視されている。
透明性： NDAの使用により、会議の実際の内容や成果に対する一般の監視が制限されている。

結論

Anthropicが宗教学者と協働してClaudeの道徳的枠組みを構築しようとしたことは、神学的伝統に基づくAI倫理の大胆かつ議論を呼ぶ実験であるが、同時に哲学的・技術的・社会的な深い課題が未解決のまま残っていることを浮き彫りにしている。 HNでの議論は、高度な言語モデルを意識や道徳的主体と混同することに対する広範な公衆の不安を反映している。