FableCut: AIエージェント向け依存関係ゼロのブラウザビデオエディター

FableCut: AIエージェント向け依存関係ゼロのブラウザビデオエディター

FableCutは、プロジェクトファイルを主要なインターフェースとして扱うことで、AI駆動のビデオ編集を可能にします

FableCutは、npm依存関係が一切ない、ブラウザ上で完全に動作するPremiereスタイルの非線形ビデオエディターです。編集ロジックをAPIの背後に隠す従来のAIビデオツールとは異なり、FableCutは、メディア、クリップ、トラック、エフェクト、キーフレーム、トランジションを含むタイムライン全体を、単一の project.json ドキュメントとして公開しています。このアーキテクチャにより、JSONを書き込めるあらゆるプロセスがビデオを編集できるようになり、ブラウザUIはSSE(server-sent events)を介して約150ms以内に変更をホットリロードします。

AIエージェントの統合とコントロールサーフェス

AIエージェントは、プロジェクトの CLAUDE.md ファイルに提供されているスキーマとレシピに従うことで、FableCutをエンドツーエンドで操作できます。システムは、エージェントがエディターと対話するための3つの主要な方法を提供します。

Model Context Protocol (MCP)

Claude CodeまたはClaude Desktopのユーザー向けに、FableCutは依存関係ゼロのMCPサーバーを含んでいます。このインターフェースはトークン効率を重視して設計されており、エージェントがドキュメント全体を書き換えるのではなく、小さな操作 (fablecut_patch_project) でタイムラインをパッチ適用できるようにします。また、エージェントは必要に応じてプロジェクトの簡潔な要約や特定のドキュメントセクションを取得することも可能です。

Direct File Manipulation

エージェントは project.json を読み取り、内容を修正し、revision カウンターをインクリメントできます。UIがライブリロードされるため、これらの変更はエディター内で即座に反映されます。

REST API

FableCutは、プログラムによる制御のためにREST APIを提供しており、プロジェクト管理 (GET/PUT /api/project)、メディアのアップロード (POST /api/upload)、およびアセットライブラリ (GET /api/library) のエンドポイントを備えています。

コア編集およびモーション機能

FableCutは、手動およびエージェントによる編集のために、プロフェッショナルな機能セットを提供します。

  • Timeline Management: 4つのビデオトラックと3つのオーディオトラックをサポートし、ドラッグ、トリム、分割、スナップ機能を提供します。マルチセレクション用のラバーバンド・マーキーと、リズム編集用のビート/キュー・マーカーが含まれています。
  • Visual Effects: 12種類のフィルタープリセット、グローバルなグレーディング用の調整レイヤー、および明るさ、コントラスト、彩度、色相、温度、ティント、ぼかし、フィルムグレインの完全なコントロールを提供します。
  • Advanced Compositing: スピル抑制機能を備えたクロマキー(グリーンバック)およびMediaPipeによるAI駆動の背景削除機能を備えています。
  • Motion and Transitions: 25のプロパティに対するキーフレームアニメーション(イージング付き)、ビデオとオーディオの両方のタイムリマップを行うスピードランプ、およびグリッチやウィップパン効果を含む17種類の異なるトランジションをサポートします。
  • Typography: ネオンの輝きエフェクトを備えたキネティック・キャプション(タイプライター、カラオケなど)を提供し、Google Fontの名前による自動読み込みをサポートします。
  • SVG Overlays: CSSアニメーション付きのSVGのフレーム単位のレンダリングをサポートし、エージェントがローワーサードや紙吹雪のようなベクターオーバーレイを、プレーンな .svg ファイルとして作成できるようにします。

リファレンスビデオの分析と作り直し

FableCutは、リファレンスビデオから「編集ブループリント」を抽出できる特化型ツール (analyze.js) を含んでいます。このブループリントには、ショットの境界、音楽のビート、BPM、ラウドネス曲線、およびショットごとのエネルギーレベルが含まれます。AIエージェントは、fablecut_analyze_reference MCPツールを使用してリファレンスリールを分析し、その後、ユーザー自身のフッテージを使用して同じ構造を重建することが可能です。

技術アーキテクチャと同時編集

FableCutは、Node.jsバックエンド (server.js) を持つシングルページアプリケーションとして構築されています。レンダリングにはChromiumベースのブラウザを使用し、オプションで高速かつフレーム単位で正確なMP4エクスポートを行うために ffmpeg を使用します。

同時編集中のデータ損失を防ぐため、FableCutは revision カウンターを実装しています。人間のエディターがUIで変更を行った際、AIエージェントがプロジェクトを修正している最中に、システムは競合を検定します。REST APIは409エラーを回帰し、UIは変更をを書き換えるのではなく、トースト通知を通じてユーザーに通知します。

Community Insights

Hacker Newsのユーザーは、従来のAPIよりもJSONとSSEを使用してエージェントとの対話を行う効率性を強調しました。一部のコントリビューターは、将来のバージョンに向けたさらなる改善を提案しています。

"I was hoping to see some very clever use of vision and maybe waveform analysis to give the model 'eyes and ears' to edit audio and video."

その他のユーザーは、JSONベースのアプローチが、モジュール式のテンプレート化やエージェントによるデモビデオのナレーションを可能にする機会を開拓すると指摘しました。

Sources