Agions/splicr

解決する課題

splicrは、ショートドラマのクリエイター、映画レビュアー、ソーシャルメディアのストーリーテラー向けに設計された、プロフェッショナルなAI搭載動画ナレーションおよび解説生成エンジンです。映像素材の分割、魅力的なスクリプトの作成、クローン音声の合成、音声と映像の同期という面倒なプロセスを自動化し、最終的にCapCutで編集可能なプロジェクトファイルをエクスポートします。

仕組み

このシステムは、Rustネイティブのマルチエージェントアーキテクチャを採用しており、6つの専門的なAIエージェントがパイプラインで協調動作します：

1. Director Agent: 全体のタスク計画を管理し、他のエージェントを調整します。
2. Visual Critic Agent: FFmpegを使用してシーン検出を行い、マルチモーダルキーフレームを抽出して感情のピークを分析します。
3. Screenwriter Agent: 一人称の独白と「ゴールデンフック」（最初の0〜3秒）を作成し、リフレクションループを使用して視聴者の定着率の可能性をスコアリングします。
4. Voice Artist Agent: Edge-TTSやGPT-SoVITSなどのツールを使用して、音声クローンと合成を処理します。
5. Sound Engineer Agent: ミリ秒単位の精度で5トラックのタイムライン上で音声と映像を同期させ、BGMのダッキングを管理します。
6. Quality Reviewer Agent: 禁止用語をスキャンし、最終的なタイムラインの整合性を納品前に検証します。

ターゲット層

• ショートドラマクリエイター
• 映画やテレビ番組の解説チャンネル
• ストーリーテリングに特化したソーシャルメディアコンテンツクリエイター

ハイライト

• ネイティブ統合: Rust、Tauri 2、React 19で構築された高性能なデスクトップ体験。
• マルチLLMサポート: Qwen、DeepSeek、OpenAI、Claude、Geminiを含む11の主要プロバイダー、およびOllama/LMStudio経由のローカルモデルと互換性があります。
• プロフェッショナルなエクスポート: CapCutにネイティブインポートするための .draft ファイルを直接生成します。
• 高精度: ミリ秒レベルの音声と映像の同期機能（誤差 < 18ms）。
• 音声クローン: ゼロショット音声クローンに対応し、リアルなナレーションを実現します。