ATH-MaaS/Pixelle-Video

解決する課題

Pixelle-Videoは、単一のトピックやキーワードから完全な動画を作成できる自動ショート動画エンジンです。手動での脚本作成、画像生成、ナレーション合成、動画編集の必要性を排除し、編集経験が全くない人でもプロフェッショナルな外観のショートコンテンツを作成できるようにします。

仕組み

このプロジェクトは、モジュール式のパイプラインを使用して、テキストを以下の4つの主要な段階を経て動画に変換します：

1. スクリプト生成: LLM（GPT、DeepSeek、Qwenなど）がユーザーのトピックに基づいて動画スクリプトを作成します。
2. ビジュアルプランニング: システムがスクリプトの各セグメントに必要なイメージングを計画します。
3. フレーム処理: AIモデルがビジュアルアセットを生成します。これは、ComfyUIワークフロー、RunningHub、または画像・動画用のOpenAI、DashScope、Kling AIなどのプロバイダーへの直接APIコールを通じて行われます。
4. 動画合成: システムは、生成されたビジュアル、合成音声（Edge-TTSやIndex-TTSなどのTTSエンジン経由）、およびバックグラウンドミュージックを、レイアウトとスタイルのためのHTMLベースのテンプレートを使用して最終的な動画に結合します。

対象者

• コンテンツクリエイター: 手動の編集なしにショート動画を素早く制作したい人。
• AI愛好家: さまざまなAIモデル（LLM、画像/動画生成、TTS）を単一の自動ワークフローに統合したいユーザー。
• 開発者: ComfyUIワークフローやHTMLテンプレートを使用して動画生成パイプラインをカスタマイズしたい人。

ハイライト

• 完全自動化: 単一のプロンプトからスクリプト、画像、動画、音声を生成します。
• 柔軟なモデル統合: 幅広いLLM（Ollama, GPT, DeepSeek）およびメディアモデル（Wan 2.1, Kling, DashScope）をサポートしています。
• モジュール式アーキテクチャ: TTSエンジン、画像生成器、動画テンプレートを入れ替えることができます。
• マルチモーダル機能: デジタルヒューマンのトーキングヘッド、image-to-video生成、モーション転送などの高度なモジュールが含まれています。
• カスタマイズ可能なスタイル: さまざまな動画の向き（垂直、水平、正方形）やビジュアルスタイルに合わせて、さまざまなHTMLテンプレートを提供します。