browser-use/video-use

解決する課題

動画編集は通常、複雑なソフトウェアのメニューやタイムラインを操作する、手作業で時間のかかるプロセスです。video-use を使用すると、ユーザーはAIエージェント（Claude Codeなど）を介して自然言語で動画を編集でき、手動でのカット、フィラーワードの削除、面倒なフォーマット作業が不要になります。

仕組み

すべてのビデオフレームを処理する（これは計算コストが高くノイズが多い）代わりに、システムは2層アプローチを使用してLLMにビデオの「読み取り」ビューを提供します。

1. 音声トランスクリプトレイヤー: ElevenLabs Scribeを使用して、単語レベルのタイムスタンプ、話者識別、オーディオイベントを生成し、映像をLLMが簡単に処理できる小さなテキストファイルに凝縮します。
2. 視覚コンポジットレイヤー: オンデマンドで、システムは特定の時間範囲に対して「タイムラインビュー」（フィルムストリップ、波形、単語ラベルを含むPNG）を生成し、LLMがカットポイントでの正確な決定や曖昧さの解決を行うのに役立てます。

LLMが編集戦略を提案すると、Edit Decision List（EDL）を生成し、ffmpegを使用してビデオをレンダリングします。その後、自己評価ループがレンダリングされた出力をチェックして、視覚的なジャンプやオーディオのポップがないか確認してから、最終結果をユーザーに提示します。

対象ユーザー

トーキングヘッド動画、モンタージュ、チュートリアル、旅行ブログ、インタビューを制作するコンテンツクリエイター、教育者、専門家で、編集プロセスの退屈な部分を自動化したい方。

ハイライト

• 自動クリーンアップ: フィラーワード（例：「えーと」、「あのー」）やテイク間の無音部分を自動的に削除します。
• AI駆動のエンハンスメント: 自動カラーグレーディングと、カット時のポップを防ぐ30msのオーディオフェード。
• 動的オーバーレイ: 並列サブエージェントを介してHyperFrames、Remotion、Manim、PILなどのツールを使用してアニメーションオーバーレイを生成します。
• カスタマイズ可能な字幕: カスタマイズ可能なフォーマットでスタイル付き字幕を焼き付けます。
• 自己評価パイプライン: レンダリングされたカットを自動的にチェックし、問題が見つかった場合は再レンダリングします。
• セッション永続化: プロジェクトの状態をマークダウンファイルに保存するため、編集セッションを後で再開できます。