Stonewuu/ai-fusion-video

何を解決するか

Ai-fusion-video (融光) は、動画クリエイターの制作プロセス全体をスムーズにするために設計されたエージェント駆動型の動画作成プラットフォームです。スクリプト作成、ストーリーボード作成、アセット管理、AI駆動の画像・動画生成を1つの統合されたワークスペースに統合することで、ツールの断片化を解消します。

どう動くか

このプラットフォームは、プロジェクト、エピソード、シーンという構造的な階層に沿ってクリエイティブプロセスを整理します。AgentScopeを活用したエージェントワークスペースにより、クリエイターはストリーミング会話とマルチモーダル入力（画像、動画、音声、ファイル）を通じてAIと対話できます。

主な技術的構成要素は以下の通りです：

• エージェントワークフロー：スキル、MCP（Model Context Protocol）、サブエージェントをサポートし、複雑な多段階のクリエイティブタスクを処理可能。
• モデル統合：OpenAI、Anthropic、Gemini、DashScope、OllamaなどのさまざまなLLMおよび専門的な画像・動画生成サービスをAPI経由で接続。
• アセットパイプライン：ローカルストレージまたはS3互換のオブジェクトストレージを使用してメディアアセットを管理。動画処理にはFFmpegとFFprobeを活用。
• フルスタックアーキテクチャ：Java 21/Spring BootバックエンドとNext.js 16フロントエンドで構築。

対象ユーザー

初期スクリプトから最終的なビジュアルアセットまで、AIを活用してワークフローを加速させたい動画クリエイターおよび制作チーム向けです。

特徴

• 統合されたワークスペース：スクリプト作成、ストーリーボード作成、アセット生成を1か所で実現。
• エージェント駆動：マルチモーダルコンテキストとツールコール機能を備えた高度なエージェントワークスペースを提供。
• 柔軟なモデル対応：ハードコードされたキーを必要とせず、幅広いテキスト・画像・動画モデルをサポート。
• エンタープライズ対応のデプロイ：Docker Compose構成を提供し、フロントエンドとバックエンドを別々にデプロイ可能な簡単なセットアップを実現。