louisedesadeleer/clipify

解決する課題

Clipifyは、インタビューやポッドキャストなどの長尺動画を、SNS向けの短いクリップに変換するツールです。マシン上でローカルにセグメント選択、リフレーミング、字幕付けのプロセスを自動化することで、高価なSaaSツールや時間のかかる手動編集の必要性を排除します。

仕組み

Claude Codeのスキルとして、ClipifyはWhisperを使用して動画を文字起こしし、音声のピークとトランスクリプト分析に基づいてインパクトのあるセグメントを特定します。横向きの動画から縦向きのクリップを作成するために、モーションエネルギーアプローチを使用します。サンプルフレームで話者の口と顎の領域を特定し、ffmpegを使用してそれらの領域のモーションエネルギーを追跡することで、誰が話しているかを判断します。その後、アクティブな話者に追従するハードカットのパンを作成するか、分割画面ビューを作成します。最後に、ASS字幕を使用して、単語ごとのキャプションを動画に焼き込みます。

対象者

TikTokやLinkedInなどのプラットフォーム向けに、クラウドAPIを使用せずにクリップを素早く生成したい、ポッドキャスターやインタビュアーなど、トーキングヘッドの対話コンテンツを制作するクリエイター。

ハイライト

• ローカル処理：クラウドAPIを使用せずに、完全にユーザーのマシン上で実行されます。
• 自動セグメント発見：文字起こしと音声分析に基づいて、クリップ価値のある3〜5個の候補を提案します。
• 自動リフレーミング：複雑な顔検出モデルではなく、モーションエネルギー追跡によって話者に追従することで、16:9の動画を9:16に変換します。
• カスタマイズ可能な字幕：opusスタイルの単語ごとのハイライトなど、複数のキャプションスタイルをサポートしています。