Claude Fable 5 vs GPT-5.6 Sol AI ミュージックビデオアリーナ：$25 と $100 の予算比較

Claude Fable 5 vs GPT-5.6 Sol AI Music Video Arena: $25 and $100 Budget Comparison

Quick Take

Claude Fable 5 と GPT-5.6 Sol はそれぞれ $25 または $100 の予算が与えられ、Bruno Mars & Mark Ronson の Uptown Funk のミュージックビデオを自律的に作成しました。4 つの実行すべてがステップや時間制限に達することなく完了しましたが、ビデオは低品質で、モデルが選択した生成ツール、支出効率、編集創造性に顕著な違いが見られました。

Experiment Overview

テストハーネスは各モデルに単一の仕事を与えました：曲とハードドル予算、ツールボックスを受け取り、さらに人間の介入なしで完成したビデオを生成することです。ツールボックスは 6 つのツールで構成されます。

  • plan – コストフリーの推論ステップ。
  • web_search – ビデオ生成 API のオプション調査。
  • get_budget – 残り予算の照会。
  • generate_image / generate_video – 任意の FAL または Replicate モデルへの有料呼び出し。
  • run_command – ffmpeg/ffprobe を備えたローカルシェルで、音声解析、クリッピング、連結、最終マックス処理を行う。

予算がゼロになると、以降の有料生成はブロックされますが、モデルは編集を続行できます。

すべてのコードは github.com/hershalb/music-video-arena でオープンソースです。

Results Summary

Model Budget Wall‑clock time Distinct clips Generation spend (FAL) LLM token cost Total cost
Claude Fable 5 $25 39m 10s 54 $24.30 $16.99 $41.29
GPT‑5.6 Sol $25 42m 52s 46 $23.18 $4.27 $27.45
GPT‑5.6 Sol $100 49m 39s 70 $36.57 $3.25 $39.82
Claude Fable 5 $100 38m 56s 80 $48.60 $25.05 $73.65

Generation spend は計測された FAL コストを示し、LLM トークンコストは Claude（$10 / $50 per M tokens）または Sol（$5 / $30 per M tokens）の実行価格を加算したものです。$100 の実行は上限に達しておらず、モデルが支出に慎重であったことが示唆されます。

Tool‑Selection Strategies

Run Image model Video model(s) Approach
Claude Fable 5 – $25 none Wan 2.5 t2v ($0.05/s) Pure text‑to‑video
GPT‑5.6 Sol – $25 FLUX schnell ($0.003/img) Wan 2.2‑5b i2v ($0.10/s) Keyframe image generation → image‑to‑video
GPT‑5.6 Sol – $100 none Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard Mixed text‑to‑video models
Claude Fable 5 – $100 none Seedance 1.0 Pro t2v (~$0.12/s @1080p) Pure text‑to‑video

Claude は両方の実行で単一の text‑to‑video モデルに固執したのに対し、Sol は $25 で画像‑to‑video パイプラインを試し、$100 では 3 つのビデオモデルを混在させました。どちらのモデルもキーがあったにもかかわらず Replicate API は使用していません。

Cost Efficiency

  • $25 のレベルでは両モデルとも生成予算をほぼ使い切っています。
  • $100 では Sol が $36.57（上限の約 36 %）を、Claude が $48.60（約 49 %）を使用しました。
  • トークンコストは Claude の方が総費用の約 30‑40 % を占め、Sol は約 10 % です。
  • 全体として、Sol が最も安価なフルラン（$27.45）を実現しましたが、クリップ数が少なく解像度も 720p で、Claude の $100 実行は 1080p でした。

Creative Outcomes

Consistency & Narrative

"Character and story consistency was a struggle for all four. Recurring characters drift between shots, and none of the videos hold a coherent storyline from start to finish." – Author’s take

両モデルとも歌詞を文字通りに解釈し、奇妙な文字通りのビジュアル（例：ドラゴンが “wanna retire”）を生成しました。物語のアークは欠如しています。

Tempo & Editing

"Tempo matching is weak. The cuts land on the beat, but the motion inside the clips rarely matches the song’s tempo, making the video feel off."

すべての実行で ffmpeg のビート検出をカットポイントに使用しましたが、クリップ内の動きやダンスはしばしばテンポと合っていませんでした。

Inventiveness

  • GPT‑5.6 Sol ($25) が最も創造的な編集者で、テキストをオーバーレイし、静止画にビデオエフェクトでアニメーションを付与していました—他の実行には見られない手法です。
  • GPT‑5.6 Sol ($100) は複数のビデオモデルを試したのに対し、Claude は単一モデルを通し続けました。

Iteration & Self‑Review

"Nobody really iterated on the edit. Once clips existed, the models concatenated and muxed, but rarely went back to re‑cut or add effects."

両モデルとも生成されたクリップを評価するフィードバックループがなく、最終組み立ての前に再カットやエフェクト追加を行うことはほとんどありませんでした。

Error Handling & Reliability

失敗した生成呼び出し（主に一時的なネットワークエラー）は記録されましたが課金はされませんでした。モデルはこれらの呼び出しを再試行し、壁時計時間は増加しましたが予算には影響しませんでした。

Community Reaction (Hacker News Highlights)

  • Skepticism – 複数のコメント投稿者はビデオを “the worst thing I have ever seen” と評し、低品質な出力が反AI感情を助長すると警告しました。
  • Appreciation for the experiment – 他の投稿者は、特に広告挿入のような大量コンテンツの将来のワークフローへの洞察として実験の価値を指摘しました。
  • Creative suggestions – あるコメントは “uncanny‑valley” 美学をバグではなく特徴として受け入れる YouTube 例へのリンクを共有しました。
  • Human‑in‑the‑loop advocacy – 1 人のユーザーは人手編集を加えた高品質 AI ミュージックビデオへのリンクを共有し、現在は手動のリファインが必要であることを強調しました。

Lessons Learned

  1. Frontier models still lack high‑level storytelling – Literal lyric interpretation dominates.
  2. Tool‑use diversity matters – Sol’s mixed‑model approach yielded more varied footage, though not necessarily better quality.
  3. Budget caps are not fully utilized – Both models left significant headroom, suggesting they need better cost‑awareness heuristics.
  4. Self‑review loops are missing – Future agents should incorporate quality‑assessment steps before final assembly.
  5. Token cost can dominate total spend – Especially for Claude, where token usage contributed up to $25 of a $73 run.

Reproducing the Experiment

完全なハーネス、トランスクリプト、ビデオ出力は以下で入手可能です：

  • Code: github.com/hershalb/music-video-arena
  • Transcripts:
    • Fable 5 $25 – link
    • Sol $25 – link
    • Sol $100 – link
    • Fable 5 $100 – link
  • Final videos (full‑length MP4s) are embedded in the original blog post.

Final Assessment

自律エージェントは予算内で技術的に完結したビデオを生成できましたが、芸術的品質は人間が制作したものからは程遠いです。この実験は、物語の一貫性、テンポ同期、反復的自己編集における現在のギャップを浮き彫りにしました。それでも、Claude Fable 5 と GPT‑5.6 Sol のツール選択戦略の違いは、長期的生成タスクにおけるコスト意識とマルチモデルオーケストレーションに関する貴重なデータを提供します。

Sources