Claude Fable 5 vs GPT-5.6 Sol AI 音樂影片競技場：$25 與 $100 預算比較
Claude Fable 5 vs GPT-5.6 Sol AI 音樂影片競技場：$25 與 $100 預算比較
快速概覽
Claude Fable 5 與 GPT-5.6 Sol 各自獲得 $25 或 $100 的預算，獨立製作 Bruno Mars & Mark Ronson 的 Uptown Funk 音樂影片。四次執行皆在步驟或時間上未觸發上限，但影片品質偏低，且在模型選擇的生成工具、花費效率與編輯創意上呈現明顯差異。
實驗概述
測試框架給每個模型一個單一任務：接收歌曲、硬性美元預算與工具箱，然後在不再有人為介入的情況下產出完成的影片。工具箱包含六項工具：
- plan – 無成本的推理步驟。
- web_search – 可選的影片生成 API 研究。
- get_budget – 查詢剩餘預算。
- generate_image / generate_video – 向任何 FAL 或 Replicate 模型發起付費呼叫。
- run_command – 本機 shell，內含
ffmpeg/ffprobe用於音訊分析、剪輯、串接與最終混流。
當預算降至零時，後續的付費生成會被阻止，但模型仍可繼續編輯。
所有程式碼皆開源於 github.com/hershalb/music-video-arena。
結果摘要
| Model | Budget | Wall‑clock time | Distinct clips | Generation spend (FAL) | LLM token cost | Total cost |
|---|---|---|---|---|---|---|
| Claude Fable 5 | $25 | 39m 10s | 54 | $24.30 | $16.99 | $41.29 |
| GPT‑5.6 Sol | $25 | 42m 52s | 46 | $23.18 | $4.27 | $27.45 |
| GPT‑5.6 Sol | $100 | 49m 39s | 70 | $36.57 | $3.25 | $39.82 |
| Claude Fable 5 | $100 | 38m 56s | 80 | $48.60 | $25.05 | $73.65 |
Generation spend 代表計量的 FAL 成本；LLM token cost 則加入 Claude（$10 / $50 per M tokens）或 Sol（$5 / $30 per M tokens）的執行費用。$100 的執行未耗盡上限，顯示模型在花費上相當保守。
工具選擇策略
| Run | Image model | Video model(s) | Approach |
|---|---|---|---|
| Claude Fable 5 – $25 | none | Wan 2.5 t2v ($0.05/s) | 純文字轉影片 |
| GPT‑5.6 Sol – $25 | FLUX schnell ($0.003/img) | Wan 2.2‑5b i2v ($0.10/s) | 先產生關鍵影格圖像 → 圖像轉影片 |
| GPT‑5.6 Sol – $100 | none | Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard | 混合文字轉影片模型 |
| Claude Fable 5 – $100 | none | Seedance 1.0 Pro t2v (~$0.12/s @1080p) | 純文字轉影片 |
Claude 在兩次執行中皆僅使用單一文字轉影片模型，而 Sol 在 $25 時嘗試圖像‑轉‑影片管線，$100 時則混合三種影片模型。兩者皆未使用 Replicate API，儘管已有金鑰。
成本效率
- 在 $25 級別，兩個模型幾乎耗盡生成預算。
- 在 $100 時，Sol 花費 $36.57（約佔上限的 36 %），Claude 花費 $48.60（約佔 49 %）。
- Token 成本對 Claude 佔比更大（≈ 30‑40 %），對 Sol 則較低（≈ 10 %）。
- 整體而言，Sol 產出最便宜的完整執行（$27.45），但剪輯較少且解析度較低（720p），相較於 Claude 在 $100 時的 1080p。
創意成果
一致性與敘事
"角色與故事的一致性在四個影片中皆是挑戰。重複出現的角色在鏡頭間漂移，且沒有任何影片能從頭到尾保持連貫的劇情。" – 作者觀點 兩個模型皆將歌詞直譯，導致奇怪的字面視覺化（例如，龍 "wanna retire"），敘事弧線缺失。
節奏與剪輯
"節奏匹配較弱。切點落在節拍上，但剪輯內的動作很少與歌曲節奏同步，讓影片感覺不協調。" 所有執行皆使用 ffmpeg 進行節拍偵測以決定切點，然而片段內的動作與舞蹈常常不同步。
創新性
- GPT‑5.6 Sol 在 $25 時是最具創意的剪輯者，加入文字覆蓋與靜態圖像動畫效果——其他執行皆未見此手法。
- GPT‑5.6 Sol 在 $100 時嘗試多種影片模型，而 Claude 整個過程僅使用單一模型。
迭代與自我審查
"沒有模型真正對剪輯進行迭代。剪輯完成後，模型直接串接與混流，卻很少回頭重新剪切或加入特效。" 兩個模型皆缺乏在最終組裝前評估生成片段的回饋迴路。
錯誤處理與可靠性
失敗的生成呼叫（大多為暫時性網路錯誤）會被記錄但不計入費用。模型會重試這些呼叫，導致牆時時間增加，但不會消耗 $ 預算。
社群回應（Hacker News 精選）
- 懷疑論 – 多位評論者稱影片是「我見過最差的作品」，並警告此類低品質輸出會助長反 AI 情緒。
- 對實驗的肯定 – 另一些人指出此測試提供了未來工作流程的洞見，特別是對大量內容（如廣告插入）的潛在應用。
- 創意建議 – 有評論連結到一個 YouTube 範例，將「怪異谷」美學視為特色而非缺陷。
- 倡導人類在迴路中 – 有使用者分享了一個高品質 AI 音樂影片的連結，該影片結合了人工剪輯，凸顯目前仍需人工精修。
教訓
- 前沿模型仍缺乏高層次敘事能力 – 仍以字面歌詞解讀為主。
- 工具使用的多樣性很重要 – Sol 的混合模型方法產出更豐富的畫面，雖不一定品質更佳。
- 預算上限未被充分利用 – 兩個模型皆留下大量餘額，顯示需要更好的成本感知啟發式。
- 缺少自我審查迴路 – 未來的代理人應在最終組裝前加入品質評估步驟。
- Token 成本可能主導總支出 – 尤其是 Claude，Token 使用佔了 $73 執行中高達 $25 的費用。
重現實驗
完整的測試框架、文字稿與影片輸出均可取得：
- 程式碼：
github.com/hershalb/music-video-arena - 文字稿：
- 最終影片（完整 MP4）已嵌入原始部落格文章中。
最終評估
雖然自主代理人在預算內成功產出技術上完整的影片，但藝術品質仍遠不及人工製作。實驗突顯了敘事連貫性、節奏同步與迭代自我編輯方面的當前缺口。儘管如此，Claude Fable 5 與 GPT‑5.6 Sol 之間不同的工具選擇策略，為未來在長期生成任務中實現成本感知、多模型協調提供了寶貴資料。