showlab/Code2Video

해결하는 문제

Code2Video는 고품질, 일관성 있고 재현 가능한 교육용 동영상을 제작하는 어려움을 해결합니다. 전통적인 텍스트에서 동영상을 직접 생성하는 모델과 달리, 이 프레임워크는 실행 가능한 코드를 동영상 생성의 매체로 사용하여 명확성과 정확성을 보장합니다.

작동 방식

이 시스템은 Manim 라이브러리를 활용하여 동영상을 생성하는 에이전트 중심의 코드 중심 파라다임을 사용합니다. 모듈화된 3에이전트 설계를 채택합니다:

• 기획자: 지식 포인트를 상세한 스토리보드로 확장합니다.
• 코더: 스토리보드를 구현하기 위한 디버깅 가능한 Manim 코드를 합성합니다.
• 비평가: 앵커와 시각 피드백을 사용하여 레이아웃과 미적 요소를 개선합니다.

시각적 품질을 향상시키기 위해 IconFinder API를 통해 외부 아이콘을 통합할 수 있습니다. 프로세스는 지식 전이, 미적 품질, 효율성을 테스트하는 MMMC 벤치마크를 통해 평가됩니다.

대상 사용자

이 도구는 3Blue1Brown이 만든 것과 유사한 수학적 또는 기술적으로 정확한 교육용 애니메이션의 자동 생성을 원하는 교육자, 콘텐츠 제작자, 연구자들을 위한 것입니다.

주요 특징

• 코드 기반 생성: 픽셀 기반 생성 대신 실행 가능한 Manim 코드를 사용하여 더 높은 일관성과 재현 가능성을 확보합니다.
• 3에이전트 아키텍처: 계획, 코딩, 비평을 분리하여 구조적이고 정교한 출력을 보장합니다.
• MMMC 벤치마크: 교육용 동영상 생성을 평가하기 위한 117개의 학습 주제로 구성된 전용 벤치마크를 포함합니다.
• 다차원 평가: 지식 전이(TeachQuiz), 미적 요소, 계산 효율성 기반으로 동영상을 평가합니다.