browser-use/video-use

何を解決するか

ユーザーが自然言語チャットインターフェースを通じて原始的な映像を編集できるようにすることで、面倒な動画編集プロセスを自動化します。タイムラインを手動でスクロールしてクリップをカットするのではなく、ユーザーは望ましい結果（例：「これらをリリース動画に編集する」）を説明し、システムがカット、クリーニング、仕上げを処理します。

動作方法

すべての動画フレームを処理するのではなく、計算コストが高くノイズが多いため、システムはLLMに構造化された映像ビューを提供するための2層アプローチを使用しています。

1. 音声トランスクリプト層：ElevenLabs Scribeを使用して単語レベルのタイムスタンプと話者分離を生成し、映像コンテンツを小さなテキストファイルに圧縮します。このファイルはLLMがカットの計画を立てるために読み込まれます。
2. 視覚合成層：LLMが特定の決定ポイントを確認する必要がある、またはカット境界の妥当性を検証する必要がある場合にのみ、「タイムラインビュー」（フィルムストリップ、波形、ラベルを含むPNG）を生成します。

戦略が承認されると、システムは編集決定リスト（EDL）を生成し、ffmpegを使用して動画をレンダリングし、視覚的なジャンプや音声のポップをチェックする自己評価ループを実行してから、最終結果を提示します。

対象ユーザー

複雑な編集ソフトウェアのメニューを操作したくない、トークヘッド動画、モンタージュ、チュートリアル、インタビューなどを制作したいクリエイター、教育者、プロフェッショナル。

特徴

• 自動クリーニング：「umm」や「uh」などのフィラー語、撮影間の無音部分を自動で削除。
• プロダクションの仕上げ：自動カラーグレーディング、30msのオーディオフェードでポップを防止、カスタマイズ可能な burned-in サブタイトル。
• エージェントアニメーション：HyperFrames、Remotion、Manimなどのツールを使用してアニメーションオーバーレイを生成する並列サブエージェントを起動可能。
• 自己修正：各カット境界でレンダリングされた出力を評価し、問題が検出された場合に再レンダリング。
• セッションの永続化：プロジェクトファイルに進捗を保存し、後で編集セッションを再開可能。