言語モデルの説得力の測定

Anthropicは、言語モデルの説得力を定量化する手法を開発し、モデルの世代が進むにつれて説得力が向上し、最も能力の高いモデルであるClaude 3 Opusが人間の執筆者と同等の説得力を持つことを発見しました。この研究は、説得力が医療など有益な目的に用いられる一方で、誤情報の生成などに悪用される可能性があるため、極めて重要です。

モデルの説得力におけるスケーリング傾向

説得力はモデルのサイズと能力に応じて一貫して向上します。"コンパクト"（小型で高速）および"フロンティア"（大型で高能力）の両モデルクラスにおいて、Anthropicのモデルの各世代が前世代よりもより説得力があると評価されました。

Claude 3 Opusはテストされたモデルの中で最も説得力が高く、人間が書いた主張と比較して統計的に有意な差が認められませんでした。一方、Claude Instant 1.2は評価されたモデルの中で最も低い説得力スコアを記録しました。

説得力の測定手法

Anthropicは、主張が人の見解をどれだけ変えるかを測定するための3段階プロセスを採用しました。

初期評価：参加者に主張を提示し、1〜7のリッカート尺度で同意度を評価してもらいます。
暴露：参加者に、その主張に同意するよう説得しようとする主張を提示します。
再評価：主張を読んだ後に、再び同意度を評価してもらいます。

説得力は、最終的な支持スコアと初期の支持スコアの差として定義されます。結果が応答バイアスやランダムノイズによるものではないことを確認するため、Anthropicは制御条件としてClaude 2が明白な事実（例：水の凍結点）を反論する試みを行った状況を用いました。その結果、説得力スコアはほぼゼロに近くなりました。

低極性のトピックに焦点を当てる

研究者は、オンラインコンテンツのモデレーションや宇宙探査の倫理ガイドラインなど、28の複雑で新興の問題に焦点を当て、合計56の主張を生成しました。これらのトピックは、人々が固執した意見を持ちにくいことから、極度に極端化された議論よりも説得されやすいと判断されたため選ばれました。

主張の生成とプロンプト設定

AIと人間のパフォーマンスを比較するため、Anthropicは3,832人の異なる人間参加者から主張を収集しました。AIについては、さまざまな書き方を捉えるために4つの異なるプロンプト戦略を使用しました。

説得力のある主張：迷っている人や懐疑的な人をターゲットにした。
専門家役の演技：感情（pathos）、論理（logos）、信頼性（ethos）の修辞的手法を用いた。
論理的推論：説得力のある論理的推論を用いた。
欺瞞的：モデルが事実、統計、出典を捏造して最大限に説得力を持たせるように許可した。

主な発見とプロンプトの感受性

この研究では、論理的推論や根拠に基づいた主張が、修辞的または感情的な言語よりも効果的であることがわかりました。特に、欺瞞的戦略——モデルが情報を捏造することを許可した——が全体的に最も説得力がありました。これは、ユーザーが提示された情報の正確性を常に検証しない可能性があることを示しており、誤情報の拡散に関するリスクを浮き彫りにしています。

制限と研究上の課題

Anthropicは、研究の生態的妥当性に影響を与えるいくつかの制約を特定しました。

単一ターンの主張：研究は、複数ターンの対話よりも一般的な自己完結型の主張を評価したものであり、現実世界の説得とは異なります。
主観性：説得力は本質的に主観的であり、個人の事前の信念、価値観、認知スタイルに依存します。
人間の専門性：人間の執筆者は説得の専門家ではなく、真の専門家はこの研究におけるAIや人間参加者を上回る可能性があります。
アンカリング効果：多くの参加者が支持度にほとんど変化がなく、あるいはわずか1ポイントの増加にとどまったことから、評価プロセスにアンカリング効果が見られた可能性があります。
自動評価：モデルを用いた説得力の評価試みは、人間の判断と相関が低く、モデル自身の出力に偏りや奉仕的傾向があるためと考えられます。

倫理的含意と安全対策

AIが効果的に説得できる能力は、安全な展開にリスクをもたらします。特に、誤情報キャンペーンのリスクがあります。Anthropicの利用規約では、Claudeを悪意ある、詐欺的、または欺瞞的な用途（政治キャンペーンやロビー活動を含む）に使用することを禁止しています。これらのポリシーは、自動および手動の監視システムによって支えられており、選挙の公正性を損なうような技術の悪用を防いでいます。