alibaba/lumenx

解决的问题

LumenX 是一个专为简化动画漫画和短视频创作而设计的 AI 原生平台。它通过提供一个集成的流程，消除了从脚本到成品视频之间的手动繁琐操作，涵盖脚本分析、资产生成和最终合成。

如何工作

该平台分为两个主要模块：

• LumenX Studio：基于流程的制作环境。使用 LLM 分析脚本，提取角色、场景和道具，生成结构化分镜。然后生成一致的视觉资产（角色设定图、场景参考图），并使用 Image-to-Video (I2V) 或 Reference-to-Video (R2V) 模型将其转换为视频。最后整合 AI 生成的配音，并使用 FFmpeg 将各片段拼接为最终输出。
• LumenX Playground：用于快速生成的独立工具包。无需脚本上下文，即可使用多种模型（如 Wan 2.7、Kling V3 和 Vidu Q3）生成图像和视频，支持多种生成模式和并发任务追踪。

适用人群

希望将文本叙事转化为动态视觉故事的内容创作者、分镜艺术家和电影制作人。

主要亮点

• 端到端流程：覆盖从脚本分析到最终视频导出的完整工作流。
• 多模型集成：支持 DashScope、MuleRun、Kling 和 Vidu 等多种提供方，用于图像、视频和 TTS 生成。
• 视觉一致性：具备可控的艺术指导功能，确保整个制作过程中风格统一。
• 灵活的生成模式：Playground 提供六种不同的生成模式，包括文本转视频、图像转视频和视频编辑。