alibaba/lumenx

解決的問題

LumenX 是一個專為簡化動畫漫畫與短影片創作而設計的 AI 原生平台。它透過提供整合式流程，消除從腳本到完成影片之間的手動繁瑣，涵蓋腳本分析、資產生成與最終組合。

如何運作

該平台分為兩個主要模組：

• LumenX Studio：流程驅動的製作環境。使用 LLM 分析腳本，提取角色、場景與道具，生成結構化分鏡。接著生成一致的視覺資產（角色設定圖、場景參考圖），並使用 Image-to-Video (I2V) 或 Reference-to-Video (R2V) 模型轉換為影片。最後整合 AI 生成的配音，並使用 FFmpeg 將各片段拼接為最終輸出。
• LumenX Playground：用於快速生成的獨立工具包。無需腳本上下文，即可使用多種模型（如 Wan 2.7、Kling V3 和 Vidu Q3）生成圖像與影片，支援多種生成模式與並行任務追蹤。

適用對象

希望將文字敘事轉化為動態視覺故事的內容創作者、分鏡藝術家與電影製作人。

主要亮點

• 端對端流程：涵蓋從腳本分析到最終影片輸出的完整工作流程。
• 多模型整合：支援 DashScope、MuleRun、Kling 和 Vidu 等多種提供者，用於圖像、影片與 TTS 生成。
• 視覺一致性：具備可控制的美術導向功能，確保整個製作過程中風格統一。
• 彈性生成模式：Playground 提供六種不同的生成模式，包括文字轉影片、圖像轉影片與影片編輯。