linzzzzzz/openclip

What it solves

OpenClipは、ライブ配信やトーク動画などの長尺動画から、最も魅力的なハイライトを特定して抽出するために設計された軽量な自動動画処理パイプラインです。バイラルなクリップを見つけるために、何時間もの映像をさかのぼる手動の作業を排除し、ダウンロードから文字起こし、AIによる分析、そして最終的なクリップ生成まで、すべてを自動的に処理します。

How it works

システムは以下のマルチステージ・パイプラインに従います：

1. Ingestion: Bilibili、YouTube、またはローカルファイルから動画をダウンロードします。
2. Transcription: プラットフォームの字幕、またはローカルASR (英語はWhisper、中国語はParaformer) を使用します。
3. Analysis: 動画が20分を超える場合、セグメントに分割されます。LLM (Qwen, OpenRouter, GLM, MiniMax, またはカスタムのOpenAI-compatible APIs経由) が、エンゲージメントとエンターテインメント価値に基づいて内容を分析します。
4. Optimization: deep-optimize モードを有効にすると、二次的なAIレビューと境界修正フェーズが追加され、クリップが独立して自然なものになるよう保証します。
5. Production: 字幕、要約、カバー画像付きの独立した動画クリップを生成します。字幕を動画に焼き付けたり、スタイリッシュなアートバナーを追加したりすることも可能です。

Who it’s for

• Content Creators: 長尺のライブ配信やポッドキャストを、ソーシャルメディア用の短尺クリップに素早く変換したいと考えているクリエイター。
• AI Agents: Claude Code, TRAE, または Cursor のユーザーは、自然言語で動画を処理するためのスキルとしてこれを利用できます。
• Developers: 重いDocker-basedの動画処理ツールに代わる、軽量でカスタマイズ可能な代替案を求めている開発者。

Highlights

• Multi-Interface Support: Streamlit web UI、CLI、およびAgent Skillとして利用可能です。

• Intelligent Analysis: --user-intent をサポートし、AIを特定のトピック (例: ""views on AI risk"") に誘導できます。

• Speaker Identification: リファレンスオーディオクリップを使用して、字幕内で特定の話し手をラベル付けするプレビュー機能。

• Flexible Post-Processing: 字幕の焼き付け、オプションのLLM-based翻訳、および様々なアートバナー・スタイル (例: neon, metallic, crystal) を含みます。

• Lightweight Design: Python と FFmpeg で構築されており、Redis や PostgreSQL のような重いインフラストラクチャを避けています。