Claude Fable 5 vs GPT‑5.6 Sol AI 音乐视频竞技场：$25 与 $100 预算对比
Claude Fable 5 vs GPT-5.6 Sol AI 音乐视频竞技场：$25 与 $100 预算对比
快速概览
Claude Fable 5 与 GPT-5.6 Sol 各自获得 $25 或 $100 的预算，自动为 Bruno Mars & Mark Ronson 的 Uptown Funk 制作音乐视频。四次运行全部在步骤或时间限制内完成，但视频质量偏低，模型选择的生成工具、花费效率以及编辑创意方面存在显著差异。
实验概述
测试框架为每个模型分配单一任务：接收歌曲、硬性美元预算和工具箱，然后在无需进一步人工干预的情况下生成完整视频。工具箱包含六种工具：
- plan – 免费的推理步骤。
- web_search – 可选的在线视频生成 API 调研。
- get_budget – 查询剩余预算。
- generate_image / generate_video – 调用任意 FAL 或 Replicate 模型的付费接口。
- run_command – 本地 shell，配合
ffmpeg/ffprobe用于音频分析、剪辑、拼接以及最终混流。
当预算降至零时，进一步的付费生成将被阻止，但模型仍可继续编辑。
所有代码均开源于 github.com/hershalb/music-video-arena。
结果摘要
| 模型 | 预算 | 实际耗时 | 不同剪辑数 | 生成花费 (FAL) | LLM 令牌费用 | 总费用 |
|---|---|---|---|---|---|---|
| Claude Fable 5 | $25 | 39m 10s | 54 | $24.30 | $16.99 | $41.29 |
| GPT‑5.6 Sol | $25 | 42m 52s | 46 | $23.18 | $4.27 | $27.45 |
| GPT‑5.6 Sol | $100 | 49m 39s | 70 | $36.57 | $3.25 | $39.82 |
| Claude Fable 5 | $100 | 38m 56s | 80 | $48.60 | $25.05 | $73.65 |
生成花费 反映计量的 FAL 成本；LLM 令牌费用则加入 Claude（$10 / $50 每 M 令牌）或 Sol（$5 / $30 每 M 令牌）的运行费用。$100 预算的运行并未耗尽上限，说明模型在花费上相对保守。
工具选择策略
| 运行 | 图像模型 | 视频模型 | 方法 |
|---|---|---|---|
| Claude Fable 5 – $25 | 无 | Wan 2.5 t2v ($0.05/s) | 纯文本生成视频 |
| GPT‑5.6 Sol – $25 | FLUX schnell ($0.003/img) | Wan 2.2‑5b i2v ($0.10/s) | 关键帧图像生成 → 图像转视频 |
| GPT‑5.6 Sol – $100 | 无 | Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard | 混合文本生成视频模型 |
| Claude Fable 5 – $100 | 无 | Seedance 1.0 Pro t2v (~$0.12/s @1080p) | 纯文本生成视频 |
Claude 在两次运行中均坚持使用单一文本生成视频模型，而 Sol 在 $25 预算下尝试了图像‑转‑视频管线，在 $100 预算下混合使用了三种视频模型。两者均未使用 Replicate API，尽管拥有相应密钥。
成本效率
- 在 $25 预算下，两模型几乎耗尽了生成预算。
- 在 $100 预算下，Sol 花费 $36.57（约占上限的 36%），Claude 花费 $48.60（约占 49%）。
- 令牌费用在 Claude 中占比更大（约占总费用的 30‑40%），而 Sol 仅约占 10%。
- 综合来看，Sol 完成的全程运行成本最低（$27.45），但剪辑数量更少，分辨率也较低（720p 对比 Claude $100 时的 1080p）。
创意产出
连贯性与叙事
“角色和故事的一致性在四个视频中都是难题。重复出现的角色在镜头之间漂移，且没有一个视频能够从头到尾保持连贯的情节。” – 作者点评 两模型都把歌词字面化，导致出现奇怪的直译画面（例如，一条想“退休”的龙）。叙事弧线缺失。
节奏与剪辑
“节奏匹配较弱。剪辑点落在节拍上，但剪辑内部的运动很少与歌曲节奏同步，使得视频感觉不协调。” 所有运行均使用 ffmpeg 的节拍检测来确定剪切点，但剪辑中的动作和舞蹈常常不同步。
创新性
- GPT‑5.6 Sol 在 $25 预算下是最具创新性的编辑者，叠加文字并用视频特效为静帧动画——其他运行中未出现此类手法。
- GPT‑5.6 Sol 在 $100 预算下尝试了多种视频模型，而 Claude 始终使用单一模型。
迭代与自审
“几乎没有人对编辑进行迭代。剪辑生成后，模型直接拼接并混流，极少回头重新剪切或添加特效。” 两模型均缺乏在最终组装前评估生成剪辑的反馈回路。
错误处理与可靠性
生成调用失败（多数为瞬时网络错误）会被记录但不计费。模型会重试这些调用，导致实际耗时增加，但不影响预算消耗。
社区反响（Hacker News 精选）
- 怀疑论 – 多位评论者称这些视频是“我见过的最糟糕的东西”，并警告低质量产出会助长反 AI 情绪。
- 对实验的认可 – 也有评论指出此测试为未来工作流提供了有价值的视角，尤其是对广告插入等批量内容。
- 创意建议 – 有评论链接了一个 YouTube 示例，将“怪异谷”美学视为特性而非缺陷。
- 倡导人工在环 – 一位用户分享了一个质量更高的 AI 音乐视频链接，强调该视频使用了人工编辑，凸显当前仍需人工精细化。
教训总结
- 前沿模型仍缺乏高层次叙事能力 – 字面化的歌词解释仍占主导。
- 工具使用的多样性很重要 – Sol 的混合模型方法产生了更丰富的画面，虽不一定质量更好。
- 预算上限未被充分利用 – 两模型均留下了大量余量，说明它们缺乏更好的成本感知启发式。
- 缺少自审循环 – 未来的代理应在最终组装前加入质量评估步骤。
- 令牌费用可能主导总支出 – 对 Claude 而言，令牌使用在一次 $73 运行中贡献了高达 $25 的费用。
复现实验
完整的测试框架、对话记录和视频输出均可获取：
- 代码：
github.com/hershalb/music-video-arena - 对话记录：
- 最终视频（完整 MP4）已嵌入原博客文章中。
最终评估
虽然自主代理成功在预算范围内生成了技术上完整的视频，但艺术质量仍远低于人工制作水平。实验凸显了当前在叙事连贯性、节奏同步和迭代自编辑方面的不足。尽管如此，Claude Fable 5 与 GPT‑5.6 Sol 在工具选择策略上的差异，为未来在长时程生成任务中实现成本感知的多模型编排提供了宝贵数据。
摘要
Claude Fable 5 与 GPT‑5.6 Sol 各自以 $25 与 $100 预算完整生成了《Uptown Funk》的 AI 音乐视频，展示了不同的工具使用模式、成本结构以及创意局限性。
标题
Claude Fable 5 vs GPT‑5.6 Sol AI 音乐视频竞技场：$25 与 $100 预算对比