Claude Fable 5 vs GPT-5.6 Sol AI Music Video Arena: $25 and $100 Budget Comparison

Claude Fable 5 vs GPT-5.6 Sol AI Music Video Arena: $25 and $100 Budget Comparison

Quick Take

Claude Fable 5와 GPT-5.6 Sol은 각각 $25 또는 $100 예산을 받아 브루노 마스 & 마크 론슨의 Uptown Funk에 대한 뮤직 비디오를 자율적으로 제작했습니다. 네 번의 실행 모두 단계나 시간 제한에 걸리지 않았지만, 비디오 품질은 낮았으며 모델이 선택한 생성 도구, 비용 효율성, 편집 창의성에서 눈에 띄는 차이가 있었습니다.

Experiment Overview

테스트 하니스는 각 모델에게 단일 작업을 부여했습니다: 곡, 고정된 달러 예산, 그리고 도구 상자를 받아 추가 인간 개입 없이 완성된 비디오를 제작하도록 하는 것. 도구 상자는 여섯 가지 도구로 구성되었습니다:

  • plan – 비용이 들지 않는 추론 단계.
  • web_search – 비디오 생성 API에 대한 선택적 조사.
  • get_budget – 남은 예산 조회.
  • generate_image / generate_video – 任意의 FAL 또는 Replicate 모델에 대한 유료 호출.
  • run_command – ffmpeg/ffprobe가 포함된 로컬 셸로 오디오 분석, 클리핑, 연결 및 최종 믹싱 수행.

예산이 0이 되면 추가 유료 생성이 차단되지만, 모델은 편집을 계속할 수 있습니다.

모든 코드는 github.com/hershalb/music-video-arena에서 오픈소스로 제공됩니다.

Results Summary

Model Budget Wall‑clock time Distinct clips Generation spend (FAL) LLM token cost Total cost
Claude Fable 5 $25 39m 10s 54 $24.30 $16.99 $41.29
GPT‑5.6 Sol $25 42m 52s 46 $23.18 $4.27 $27.45
GPT‑5.6 Sol $100 49m 39s 70 $36.57 $3.25 $39.82
Claude Fable 5 $100 38m 56s 80 $48.60 $25.05 $73.65

Generation spend는 측정된 FAL 비용을 의미하고, LLM 토큰 비용은 Claude($10 / $50 per M tokens) 또는 Sol($5 / $30 per M tokens) 실행 가격을 추가한 것입니다. $100 실행은 한도에 도달하지 않았으며, 이는 모델이 비용 사용에 보수적이었다는 것을 나타냅니다.

Tool‑Selection Strategies

Run Image model Video model(s) Approach
Claude Fable 5 – $25 none Wan 2.5 t2v ($0.05/s) Pure text‑to‑video
GPT‑5.6 Sol – $25 FLUX schnell ($0.003/img) Wan 2.2‑5b i2v ($0.10/s) Keyframe image generation → image‑to‑video
GPT‑5.6 Sol – $100 none Wan 2.5, Veo 3.1 Lite, Hailuo 2.3 Standard Mixed text‑to‑video models
Claude Fable 5 – $100 none Seedance 1.0 Pro t2v (~$0.12/s @1080p) Pure text‑to‑video

Claude는 두 실행 모두 단일 텍스트‑투‑비디오 모델만 사용했으며, Sol은 $25에서 이미지‑투‑비디오 파이프라인을, $100에서는 세 가지 비디오 모델을 혼합해 실험했습니다. 두 모델 모두 키가 있음에도 Replicate API는 사용하지 않았습니다.

Cost Efficiency

  • $25 수준에서 두 모델 모두 생성 예산을 거의 소진했습니다.
  • $100에서는 Sol이 $36.57(≈ 36 % 한도) 사용한 반면, Claude는 $48.60(≈ 49 %)을 사용했습니다.
  • 토큰 비용은 Claude가 전체 비용의 약 30‑40 %를 차지한 반면, Sol은 약 10 %에 불과했습니다.
  • 전체적으로 Sol이 가장 저렴한 전체 실행($27.45)을 기록했지만, 클립 수가 적고 해상도도 낮았습니다(720p vs. Claude의 1080p, $100 실행).

Creative Outcomes

Consistency & Narrative

"Character and story consistency was a struggle for all four. Recurring characters drift between shots, and none of the videos hold a coherent storyline from start to finish." – Author’s take 두 모델 모두 가사를 문자 그대로 해석했으며, 이로 인해 "dragon ‘wanna retire’"와 같은 이상한 시각화가 나타났습니다. 서사적 아크는 전혀 없었습니다.

Tempo & Editing

"Tempo matching is weak. The cuts land on the beat, but the motion inside the clips rarely matches the song’s tempo, making the video feel off." 모든 실행이 ffmpeg 비트 감지를 사용해 컷 포인트를 잡았지만, 클립 내부의 움직임과 댄스는 종종 곡 템포와 맞지 않았습니다.

Inventiveness

  • $25에서 GPT‑5.6 Sol이 가장 창의적인 편집자를 보여 주었으며, 텍스트 오버레이와 정지 화면에 비디오 효과를 적용했습니다—다른 실행에서는 찾아볼 수 없는 기법입니다.
  • $100에서 GPT‑5.6 Sol은 여러 비디오 모델을 시도했지만, Claude는 전체 과정 내내 단일 모델만 사용했습니다.

Iteration & Self‑Review

"Nobody really iterated on the edit. Once clips existed, the models concatenated and muxed, but rarely went back to re‑cut or add effects." 두 모델 모두 최종 조립 전에 생성된 클립을 평가하는 피드백 루프가 부족했습니다.

Error Handling & Reliability

대부분 일시적인 네트워크 오류인 실패한 생성 호출은 로그에 남았지만 비용이 청구되지 않았습니다. 모델은 이러한 호출을 재시도했으며, 이는 전체 벽시계 시간에만 영향을 주고 $ 예산에는 영향을 주지 않았습니다.

Community Reaction (Hacker News Highlights)

  • Skepticism – 여러 댓글이 비디오를 "내가 본 최악의 것"이라고 평가하며, 이런 저품질 결과가 반AI 감정을 부추긴다고 경고했습니다.
  • Appreciation for the experiment – 다른 사람들은 특히 광고 삽입과 같은 대량 콘텐츠에 대한 미래 워크플로를 엿볼 수 있다는 점을 높이 평가했습니다.
  • Creative suggestions – 한 댓글은 "uncanny‑valley" 미학을 버그가 아니라 특징으로 활용한 YouTube 예시를 링크했습니다.
  • Human‑in‑the‑loop advocacy – 한 사용자는 인간 편집이 포함된 고품질 AI 뮤직 비디오 링크를 공유하며, 현재는 수동 정제가 필요함을 강조했습니다.

Lessons Learned

  1. Frontier models still lack high‑level storytelling – Literal lyric interpretation dominates.
  2. Tool‑use diversity matters – Sol’s mixed‑model approach yielded more varied footage, though not necessarily better quality.
  3. Budget caps are not fully utilized – Both models left significant headroom, suggesting they need better cost‑awareness heuristics.
  4. Self‑review loops are missing – Future agents should incorporate quality‑assessment steps before final assembly.
  5. Token cost can dominate total spend – Especially for Claude, where token usage contributed up to $25 of a $73 run.

Reproducing the Experiment

전체 하니스, 전사본, 비디오 출력물은 다음에서 확인할 수 있습니다:

  • Code: github.com/hershalb/music-video-arena
  • Transcripts:
    • Fable 5 $25 – link
    • Sol $25 – link
    • Sol $100 – link
    • Fable 5 $100 – link
  • 최종 비디오(전체 길이 MP4)는 원본 블로그 게시물에 삽입되어 있습니다.

Final Assessment

자율 에이전트가 예산 내에서 기술적으로 완전한 비디오를 제작하는 데 성공했지만, 예술적 품질은 인간이 만든 수준과는 거리가 멉니다. 이번 실험은 서사 일관성, 템포 동기화, 반복적 자체 편집 측면에서 현재의 격차를 강조합니다. 그럼에도 Claude Fable 5와 GPT‑5.6 Sol 사이의 도구 선택 전략 차이는 비용 인식 및 다중 모델 오케스트레이션에 관한 향후 연구에 귀중한 데이터를 제공합니다.

Sources