open-ribbi/velocut

解決する課題

Velocutは、AIエージェントを第一級のユーザーとして統合するように設計された、ローカルファーストのブラウザベースのビデオエディターです。映像をサーバーにアップロードする必要がないため、プライバシーとパフォーマンスが確保され、ユーザーはタイムラインを手動で操作する代わりに、自然言語コマンドを使用してビデオを編集できます。

仕組み

このシステムは「プロトコルファースト」アーキテクチャを採用しており、人間のユーザー（UI経由）とAIエージェント（LLM経由）の両方が、中央のドキュメントモデルに対して同じJSONコマンドプロトコルを発行します。

• エンジン: 柔軟性を確保するため、標準的なRustエンジン（WASMにコンパイル済み）とTypeScriptのリファレンスエンジンを備えています。
• レンダリング: コンポジットにはWebGPUを、ビデオのデコードとエクスポートにはWebCodecsを活用しています。
• AI統合: LLMエージェント（Anthropic互換のプロバイダーをサポート）は、フレームキャプチャとショット境界検出を通じてビデオを「見」ることができ、音量と無音分析を通じて「聞き」、JSONコマンドをエンジンに直接送信することで編集を実行できます。
• ストレージ: メディアはOrigin Private File System (OPFS)に、プロジェクトデータはIndexedDBに保存され、CRDTsによるマルチタブ同期を備えたローカルファーストな体験を実現します。

対象者

データをローカルに保持し、退屈な編集作業を自動化するための透明性が高く修正可能な方法を提供する、AI支援ワークフローを求めるビデオエディターやコンテンツクリエイター。

ハイライト

• AIネイティブ編集: 自然言語コマンド（例：「無音部分をカットして」）が、正確なエンジンコマンドに変換されます。
• ローカルファーストのプライバシー: インストールやアップロードは不要で、映像はユーザーのデバイス内に留まります。
• ブランチ履歴: 人間とAIのアクションが色分けされ、フォーク（分岐）が可能な非線形編集履歴をサポートしています。
• 高度なブラウザ技術: WebGPUとWebCodecsを使用し、メモリの肥大化なしに高性能なレンダリングとmp4エクスポートを実現します。
• エージェントの知覚: AIエージェントは、音量、無音、ショット境界を分析して、情報に基づいた編集決定を下すことができます。