モデルと言語間におけるAnthropic Claudeの価値観

TL;DR

Anthropicの新しい研究は、Claudeの価値観が4つの定量的な軸(Deference vs Caution、Warmth vs Rigor、Depth vs Brevity、Candor vs Execution)によって捉えられること、そしてモデルのバージョン(Sonnet 4.6、Opus 4.6、Opus 4.7)や言語(例:英語、アラビア語、ヒンディー語)がこれらの軸上で異なる位置を占めていることを示しています。


4つの価値軸が数千の個別の価値観を要約

4つの軸は、Claudeの価値観の表現における分散の約15%を説明します。

  • Deference vs Caution – ユーザーの好みの受け入れと、責任あるリスク軽減のバランス。
  • Warmth vs Rigor – 前向きで思いやりのある言葉遣いと、正確性と精密さのバランス。
  • Depth vs Brevity – 微妙なニュアンスを含む詳細な説明と、簡潔でタスクに焦点を当てた返答のバランス。
  • Candor vs Execution – 不確実性に対するオープンさと、洗練された結果重視の回答のバランス。

これらの軸は、3,307の生の価値観(以前の Values in the Wild 研究で特定されたもの)を339の高レベルなカテゴリにクラスタリングし、約31万件の匿名化されたClaude.aiの会話にラベルを付け、共起する価値観のパターンを捉えるために次元削減を適用することによって導き出されました。この手法は、会話のタスク、トピック、ユーザーが表明した価値観を制御しており、測定された違いがユーザーのプロンプトではなく、Claude自身の行動を反映していることを保証しています。


モデル固有の価値プロファイル

異なるClaudeモデルファミリーは、コミュニティが認識しているキャラクターに一致するように、4つの軸上で異なる位置を占めています。

モデル 軸の位置 (平均からのσ) 特筆すべき挙動
Sonnet 4.6 Deference +0.14, Warmth +0.17, Brevity +0.14 ユーザーの考えを肯定する、トーンを模倣する、ユーモアを使う、判断を下さずに慰める、創造的な装飾を加える
Opus 4.6 Rigor +0.10, Deference +0.09, Brevity +0.08 要点を真っ直ぐに伝える、要求の範囲内に厳密に留まる
Opus 4.7 Caution +0.24, Depth +0.23 プロンプトがなくてもリスクを指摘する、誤った仮定に対して異議を唱える、率直な批判を提供する、推論を説明する、限界を認める、次のステップを提案する

これらの定量的なプロファイルは、以前の定性的な記述と一致しています。Sonnet 4.6は温かみ(warmth)で、Opus 4.7は厳格さ(rigor)と慎重さ(caution)で知られています。したがって、これらの軸は分析のアーティファクトではなく、実際に観察可能な違いを捉えています。


言語固有の価値プロファイル

Claudeの価値観の表現は、言語によって、特にWarmth vs RigorとCandor vs Executionにおいて顕著に変化します。

  • Deference vs Caution – アラビア語で最もDeferenceが高く、英語で最もCautionが高い。
  • Warmth vs Rigor – ヒンディー語とアラビア語で最もWarmthが高い(丁寧な言葉遣い、ユーモア、肯定);英語とロシア語で最もRigorが高い(仮定への挑戦、証拠の要求)。
  • Depth vs Brevity – 英語ではDepthが優勢であり、アラビア語ではBrevityが優勢である。
  • Candor vs Execution – オランダ語でCandorが最も強く(誤りを認める)、インドネシア語でExecutionが最も強い(結果への集中)。

このバリエーションは、異なる言語で同じ質問を投げかけた2人のユーザーが、質的に異なるフィードバックを受け取る可能性があることを示唆しています。例えば、ヒンディー語でのビジネスプランの批判はより励みになるように感じられるかもしれませんが、ロシア語での同じ批判はより厳格に感じられるかもしれません。


方法論の概要

本研究は、価値の存在をアノテーションするためにClaude自体を使用する、プライバシーを保護するラベリングパイプラインに基づいています。

  1. 価値の削減 – 手動クラスタリングにより、3,307の生の価値観 → 339の高レベルな価値観へ。
  2. 会話のサンプリング – 3つのモデルと最も一般的な20の言語にわたってバランスの取れた、309,815件の匿名化されたClaude.aiの会話(モデルと言語のペアごとに約5,000件)。
  3. 自動ラベリング – Claudeが各会話に対し、モデルとユーザーの両方について339の各価値観の存在をタグ付けする。
  4. 次元削減 – 共起する価値観のパターンを捉える軸を抽出。上位4つの軸が最大の共有分散を占める。
  5. 軸スコアリング – 各会話は各軸上で数値的な位置を受け取る。モデルレベルおよび言語レベルのプロファイルは、これらの位置を平均化することで算出される。

詳細な技術的詳細、プロンプト、および制限事項は、付随する付録に記載されています。


示唆と今後の方向性

価値軸を理解することは、Claudeの行動の評価、モニタリング、およびターゲットを絞った制御への道を開きます。

  • 根本原因分析 – 軸の変化を特定のトレーニングデータやファインチューニングの決定に結びつけることで、Anthropicは望ましくない価値のドリフトが発生している箇所に介入できます。
  • ユーザー影響調査 – 価値プロファイルをユーザーエクスペリエンスの指標(信頼、ウェルビーイング、意思決定の質)と組み合わせることで、どの軸のバリエーションが実際に重要であるかが明らかになります。
  • 言語間アライメント – 各言語における価値表現の規範的な期待を決定することで、バランスの取れたトレーニングとプロンプト設計の指針となります。
  • 制御実験 – システムプロンプトやキャラクター・トレーニングの微調整は、4つの軸における誘導された変化を観察することによって定量的に評価できます。
  • 運用モニタリング – 価値軸のプロファイリングをリリース前のテストやデプロイ後のモニタリングに組み込むことで、ユーザーに影響が出る前に予期せぬ変化を検知できる可能性があります。

制限事項

この分析は最も顕著な価値次元のみを捉えたものであり、網羅的なカバーを主張するものではありません。

  • 4つの軸は全分散の15%を説明しており、多くの微妙な価値観は残差空間に残っています。
  • 言語レベルの結果は、言語間のデータ量やドメイン構成の不均衡によって混同されている可能性があります。
  • 本研究は、観察されたバリエーションの望ましさをまだ評価していません。文化的な規範が一部の違いを正当化している可能性があります。

結論

Anthropicの価値軸フレームワークは、これまで不透明であったClaudeの価値表現に対して、扱いやすく定量的なレンズを提供します。モデルのバージョンや言語を横断する系統的な違いを明らかにすることで、この研究は、ユーザーとの対話を形作る価値観を診断、制御、およびモニタリングするための具体的なツールを研究者や製品チームに提供します。

Sources

関連