alibaba/lumenx

解決する課題

LumenXは、モーションコミックや短編動画の制作をスムーズにするAIネイティブなプラットフォームです。スクリプトから完成した動画への移行における手作業の煩わしさを排除し、スクリプト解析、アセット生成、最終的な構成を統合されたパイプラインで処理します。

動作方法

このプラットフォームは2つの主要モジュールに分かれています：

• LumenX Studio：パイプライン駆動の制作環境。LLMを使用してスクリプトを分析し、キャラクター、シーン、小道具を抽出して構造化されたストーリーボードを作成します。その後、一貫性のあるビジュアルアセット（キャラクターシート、シーンリファレンス）を生成し、Image-to-Video（I2V）またはReference-to-Video（R2V）モデルを使って動画に変換します。最後に、AI音声合成を統合し、FFmpegを使用してセグメントを結合して最終出力を行います。
• LumenX Playground：即時生成用のスタンドアロンツールキット。スクリプトの文脈を必要とせず、Wan 2.7、Kling V3、Vidu Q3などのさまざまなモデルを使って画像や動画を生成でき、複数の生成モードと並行タスクの追跡をサポートします。

対象ユーザー

テキストベースの物語をダイナミックな視覚的ストーリーに変換したいコンテンツクリエイター、ストーリーボードアーティスト、映画監督向けです。

主な特徴

• エンドツーエンドのパイプライン：スクリプト解析から最終動画出力までをカバーします。
• マルチモデル統合：DashScope、MuleRun、Kling、Viduなど、画像、動画、TTS生成に広範なプロバイダーをサポートします。
• ビジュアルの一貫性：制御可能なアートディレクションにより、全体の制作で統一されたスタイルを確保します。
• 柔軟な生成モード：Playgroundではテキストから動画、画像から動画、動画編集を含む6種類の生成モードを提供します。