alibaba/lumenx

해결하는 문제

LumenX는 모션 만화 및 단편 영상 제작을 간소화하기 위해 설계된 AI 기반 플랫폼입니다. 스크립트에서 완성된 영상으로의 전환 과정에서 발생하는 수작업의 번거로움을 제거하고, 스크립트 분석, 자산 생성, 최종 구성까지 통합된 파이프라인을 제공합니다.

작동 방식

이 플랫폼은 두 가지 주요 모듈로 구성됩니다:

• LumenX Studio: 파이프라인 기반의 제작 환경. LLM을 사용해 스크립트를 분석하고 캐릭터, 장면, 소품을 추출하여 구조화된 스토리보드를 생성합니다. 이후 일관된 비주얼 자산(캐릭터 시트, 장면 참조)을 생성하고, Image-to-Video(I2V) 또는 Reference-to-Video(R2V) 모델을 사용해 동영상으로 변환합니다. 마지막으로 AI 음성 합성과 FFmpeg를 활용해 세그먼트를 결합하여 최종 내보내기를 수행합니다.
• LumenX Playground: 즉시 생성을 위한 독립형 툴킷. 스크립트의 맥락 없이 Wan 2.7, Kling V3, Vidu Q3 등의 다양한 모델을 사용해 이미지 및 영상을 생성할 수 있으며, 다양한 생성 모드와 병렬 작업 추적을 지원합니다.

대상 사용자

텍스트 기반의 이야기를 동적인 시각적 스토리로 변환하고자 하는 콘텐츠 크리에이터, 스토리보드 아티스트, 영화 감독을 위한 플랫폼입니다.

주요 특징

• 엔드투엔드 파이프라인: 스크립트 분석에서 최종 영상 내보내기까지 전 과정을 커버합니다.
• 다중 모델 통합: DashScope, MuleRun, Kling, Vidu 등 이미지, 영상, TTS 생성을 위한 다양한 제공업체를 지원합니다.
• 시각적 일관성: 제어 가능한 아트 디렉션을 통해 전체 제작 과정에서 통일된 스타일을 유지합니다.
• 유연한 생성 모드: Playground에서는 텍스트에서 영상, 이미지에서 영상, 영상 편집을 포함한 6가지의 다양한 생성 모드를 제공합니다.