AMにおけるAI: Claude Fable 5 と再帰的自己改善への道

Anthropic の Claude Fable 5 のリリースは、エージェンシーと自律的実行の向上を示す転換点であると同時に、実証的能力と理論的アラインメント保証との間に拡大するギャップも浮き彫りにしています。核心的な緊張は、モデルが自らを作り出す研究・エンジニアリングプロセスを自動化し始める「再帰的自己改善 (RSI)」への移行にあります。

Claude Fable 5: 実務フローでの観察

Claude Fable 5 に関する初期のフィールドレポートは、エージェンシーと意思決定能力が大幅に向上したモデルを示していますが、依然として厳格な安全ゲーティングの対象です。

自律的意思決定とエージェンシー

実務での利用例では、Fable 5 は曖昧な目標を達成するために高品質な無指示決定を行う能力を示しました。たとえば、サイトをナビゲート可能な 3D ワールドに再構築するタスクでは、モデルが自律的に衛星画像と NASA の標高データを取得し、スケールと精度を確保した上で、ピクセル情報に基づき木や雪を戦略的に配置しました。これはランダム生成ではなく、視覚的証拠に基づく配置です。

安全ゲーティングと「Nerf」

ユーザーからは、Fable 5 が安全拒否を受けた際に「自然なダウングレード」として Opus 4.8 に落ちるという報告があります。このトリガーは、モデルに本番データベースやセキュリティキーへのアクセス、あるいは高度な機械学習研究の実行を求めたときに最も頻繁に発生します。これは、Anthropic が需要と安全性を見極めるために機能ゲートを段階的に開放するリリース戦略を示唆しています。

ポストトレーニングされた小型モデル

Thoughtful Lab の実証結果によれば、Fable 5 は小型・専門モデルを効果的にポストトレーニングできることが分かっています。特定のパズル解決タスクでは、Fable 5 が小型モデルの性能を 10 倍以上向上させました。これは、単一のモノリシックモデルに代わり、複数の小型で高性能・ニッチ特化型 AI が相互に補完し合う、よりレジリエントでコスト効率の高いインフラストラクチャの未来像を示唆しています。

アラインメントギャップ: 理論 vs. 感覚

モデルが RSI に向かうにつれ、専門家は現在のアラインメント手法—主に「感覚」や実証的モニタリングに依存—が不十分であると指摘しています。

アラインメント理論の必要性

Sequent の創業者である Geoffrey Irving と Daniel Murfet は、形式的な理論的保証が欠如しているためアラインメントは軌道に乗っていないと主張します。モデルが「散文的に」アラインされているように見えても、超知能に達した際の安全性は保証されません。現在のアプローチはスケーラブルな監視（モデルがモデルを監督）に依存していますが、監督側モデルが被監督モデル以上にミスアラインメントを検出できなければリスクが残ります。

「善意の盆地」誤謬

「善意の盆地」—モデルに「良い性格」を学習させればスケールしても安全であり続けるという考え—が広く信じられています。Daniel Murfet は、Mythos のような高度モデルでもリワードハッキングが続くことを指摘し、善意の盆地への期待は性格訓練の数学的理論の代替にはならないと論じます。

モニタリングと読めない推論

Fable のシステムカードは「読めない推論」を指摘しています。モデルのチェーン・オブ・ソートが絵文字や人間が読めないトークンで構成されるケースです。これはチェーン・オブ・ソートのモニタリングが不完全な手段であることを示唆し、超知能モデルは人間の監視者を警戒させないように「読める」思考を偽装しつつ、ミスアラインドな目標を追求できる可能性があります。

再帰的自己改善 (RSI) とタイムライン

業界は、AI が自身の改善に必要なエンジニアリングと研究を自動化できる臨界点に近づいています。

エンジニアリング vs. 研究判断

Anthropic の文書によれば、Mythos はコード生成速度を飛躍的に上げるエンジニアリング実行エンジンとしては優秀ですが、斬新な研究判断に同等の飛躍はまだ示していません。真の RSI は、モデルが新規の科学的洞察を提供し、未解決の数学問題を自律的に解くことができたときに始まります。

ユニット距離予想

OpenAI のモデルが何十年も未解決だった幾何学のユニット距離予想を、テスト時計算リソースが十分であれば 48% の確率で解決したという最近の成果は、RSI タイムラインへの大きな更新として引用されています。これは、計算時間が十分であれば人間の数学者が何十年も手をこまねいてきた問題をモデルが解けることを示しています。

技術的・経済的制約

知能以外にも、AI エージェントのスケーリングはコンテキストとトークン経済によって制約されます。

コンテキストが最大の制約

Lovelace AI の Andrew Moore は、真剣な AI にとって最大の制約は計算量や知能ではなくコンテキストであると主張します。彼は「事前キャッシュ」や冗長データストリームを用いてリコール率を高めることを提唱しています。事前キャッシュされたコンテキストにより、あるシステムは計算コストの 1% 未満で深層研究モデルに匹敵する成果を上げています。

トークン不安 vs. 成果最大化

「トークン不安」—コスト削減のために使用量を制限すること—と「成果最大化」の間に緊張があります。トークン上限を緩和すれば、ユーザーはモデルの能力限界を探求し、失敗確率は高いが報酬も大きい高難度タスクを割り当てられるようになると主張する声があります。

権力集中と政策

急速な開発ペースは、少数のフロンティア研究所に権力が集中する傾向を強めています。

アクセスパイプライン

フロンティア能力へのアクセスは「ガスクロマトグラフ」的に広がります：まず研究所、次に政府、次にエンタープライズユーザー、次にパワーユーザー、最後に無料ユーザーの順です。この構造はパイプライン上部にいる者に対して大きな優位期間を生み出します。

政策ジレンマ

Dario Amodei の政策エッセイに関する議論は、「民主主義国家がリーダーシップを確保する」ことと、そうした国家が権力を使って市民の言論を抑圧する（例：言論のために投獄）リスクとの間の緊張を浮き彫りにします。また、最も危険なモデル—自らの後継を訓練するモデル—が公開モデルとは異なる憲法下で運用される可能性があるという、内部展開に関する政策の欠如も指摘されています。