chatfire-AI/huobao-drama

해결하는 문제

Huobao Drama는 AI 생성 단편 드라마를 위한 자동 제작 플랫폼입니다. 스크립트 작성, 캐릭터 디자인, 스토리보드 제작 및 비디오 합성을 단일 엔드 투 엔드 워크플로우로 통합하여 여러 AI 도구를 조정하는 수동 작업을 제거합니다.

작동 방식

이 플랫폼은 일련의 AI Agents(Mastra framework 기반)를 사용하여 제작의 다양한 단계를 처리합니다:

1. Scripting: script_rewriter 에이전트가 소설이나 아이디어를 형식화된 스크립트로 변환합니다.
2. Extraction: extractor 에이전트가 중복된 캐릭터, 장면 및 소품을 식별하고 제거합니다.
3. Storyboarding: storyboard_breaker 에이전트가 스크립트를 일련의 샷으로 분해합니다.
4. Prompting: prompt_generator 에이전트가 캐릭터 이미지 및 비디오 클립을 위한 비주얼 프롬프트를 생성합니다.

이 프롬프트는 통합된 AI 제공업체(OpenAI, Gemini 또는 Volcengine 등)로 전송되어 이미지와 비디오를 생성합니다. 마지막으로 시스템은 FFmpeg를 사용하여 개별 샷을 자막이 포함된 전체 에피소드로 합성합니다.

대상

텍스트, 이미지 및 비디오 생성을 위한 별도의 도구를 관리할 필요 없이 짧은 형식의 AI 비디오 콘텐츠를 빠르게 제작하고자 하는 콘텐츠 크리에이터, 작가 및 영화 제작자.

주요 특징

• 엔드 투 엔드 자동화: 원시 텍스트부터 최종 비디오 내보내기까지 모든 과정을 다룹니다.
• 멀티 프로바이더 지원: 다양한 텍스트, 이미지 및 비디오 모델(OpenAI, Gemini, Volcengine/Seedance)과 호환됩니다.
• 에이전트 워크플로우: 스크립트 분석 및 프롬프트 엔지니어링을 위해 전문화된 AI 에이전트를 사용합니다.
• 자기 완결형 배포: 쉬운 설정을 위해 내장된 FFmpeg 바이너리 및 Docker 지원을 포함합니다.