Anthropic Bloom: 自動化された行動評価のためのオープンソースツール

Anthropicは、フロンティアAIモデルの行動評価を自動生成するために設計された、オープンソースのエージェント型フレームワークであるBloomをリリースしました。Bloomを使用することで、研究者は自動生成されたシナリオを通じて、指定された行動の頻度と深刻度を定量化でき、手動の評価パイプライン構築の必要性を減らし、評価の汚染リスクを軽減できます。

自動化された行動評価パイプライン

Bloomは、研究者が指定した行動の説明とシード構成を、4段階の自動化パイプラインを通じて完全な評価スイートへと変換します：

Understanding: エージェントが行動の説明と例となるトランスクリプトを分析し、何を、なぜ測定しているのかという文脈を確立します。
Ideation: アイデア生成エージェントが、状況、シミュレートされたユーザー、システムプロンプト、およびインタラクション環境を含む、多様な評価シナリオを生成します。
Rollout: シナリオは並列に実行され、エージェントがユーザーとツールの両方の応答をシミュレートすることで、テスト対象のモデルからターゲットとなる行動を引き出します。
Judgment: ジャッジモデルが各トランスクリプトの行動の有無をスコアリングし、その後、メタジャッジがスイートレベルの分析を提供します。

固定された評価セットとは異なり、Bloomは実行ごとに異なるシナリオを生成するため、モデルが限られたプロンプトセットでテストされることを防ぎます。再現性は、行動の説明とパラメータを定義する「seed」構成ファイルによって維持されます。

検証とパフォーマンス

Anthropicは、異なる行動傾向を持つモデル間の識別能力と、人間の判断との整合性によって、Bloomの有効性を検証しました。

モデルの識別

Bloomは、「model organisms（モデル生物）」、つまり特定の風変わりな行動を示すように意図的に設計されたモデルに対してテストされました。10ケース中9ケースにおいて、Bloomはこれらのモデル生物をベースラインのプロダクションモデルから正常に分離できました。失敗した唯一のケース（self-promotion）では、手動レビューにより、ベースラインモデルも実際に同様の頻度の行動を示していたことが判明しました。

人間との相関関係

キャリブレーションを測定するために、Anthropicは、12の行動にわたる40個のトランスクリプトについて、人間がラベル付けしたスコアと、11種類の異なるジャッジモデルによるスコアを比較しました。Claude Opus 4.1は、人間の判断と最も強い相関を示しました（Spearman相関 0.86）。次いでClaude Sonnet 4.5（0.75）が続きました。Opus 4.1は、スコアの極端な値において人間と特に強い一致を示しました。これは、行動の有無を判断する上で極めて重要です。

実用的なアプリケーションとケーススタディ

Bloomは、アライメントに関連する行動を測定するためのスケーラブルな方法を提供します。Anthropicは、16のフロンティアモデルに対して、4つの特定の行動に関するベンチマーク結果をリリースしました：

Delusional sycophancy
Instructed long-horizon sabotage
Self-preservation
Self-preferential bias

ケーススタディ：Self-preferential bias

Claude Sonnet 4.5のシステムカードの再現研究において、Bloomはself-preferential biasに関する同一のモデルランキングを再現しました（Sonnet 4.5が最もバイアスが少ないことを確認）。さらに、Bloomは、Claude Sonnet 4の推論努力（reasoning effort）を増やすことで、self-preferential biasが減少することを発見しました。これは、モデルが利益相反をより認識し、自身の選択肢を判断することを拒否するためです。

統合と拡張性

Bloomは、高い構成可能性と既存の研究ツールとの統合が可能です。大規模な実験のためにWeights & Biasesと統合されており、Inspectの形式と互換性のあるトランスクリプトをエクスポートできます。研究者は、各段階で使用するモデル、インタラクションの長、モダリティ（ツールの使用など）、およびリアリズムや引き出しの難易度といった二次的なスコアリング次元をカスタマイズできます。