modelscope/FunClip

何を解決するか

FunClip は、音声認識（ASR）と話者識別を活用して、テキストや話者IDに基づいて動画のセグメントを自動抽出するオープンソースの自動動画クリッピングツールです。長時間の動画を手動でスクロールして特定の発言や話者を検索する手間を省きます。

動作方法

このツールはAIモデルのパイプラインを使用して動画ファイルを処理します：

1. 音声認識（ASR）： AlibabaのFunASR Paraformerシリーズ（Paraformer-Largeおよびホットワードカスタマイズ用のSeACo-Paraformerを含む）を活用し、音声を文字起こし、テキストの正確なタイムスタンプを予測します。
2. 話者識別： CAM++モデルを統合して、異なる話者を識別し、誰が話しているかに基づいてセグメントを切り出せます。
3. AI支援クリッピング： OrcaRouterやCheaper Inferenceなどのゲートウェイを介してLLMと連携するか、TwelveLabs Pegasusなどのビデオ理解モデルと連携して、トランスクリプトやビジュアルを分析し、ハイライトセグメントを自動で提案できます。
4. ユーザーインターフェース： GradioベースのWebインターフェースにより、ユーザーは動画をアップロードし、文字起こしからテキストセグメントを選択し、字幕付きの最終的なクリップを生成できます。

対象ユーザー

中国語および英語の音声を扱うコンテンツクリエイター、動画編集者、研究者で、発言内容や話者に基づいて動画の特定の瞬間を迅速に抽出したい方。

特徴

• 産業用レベルのASR： 高精度な中国語音声認識とタイムスタンプ予測にParaformer-Largeを使用。
• 話者ベースのクリッピング： 自動認識された話者IDに基づいて動画をトリミング可能。
• LLM統合： 外部LLMやTwelveLabs Pegasusによるコンテンツ認識型ビデオ理解を活用したAI駆動のハイライト検出をサポート。
• ホットワードカスタマイズ： SeACo-Paraformerを使用して特定の名前やエンティティの認識を強化。
• 柔軟なデプロイ： ローカルでGradioサービスとして実行可能、またはコマンドラインインターフェースで利用可能。
• 自動字幕生成： 全動画および抽出されたクリップ用にSRTファイルを自動生成。