marcelo-earth/generative-manim

Generative Manim – AI 기반 애니메이션 생성

무엇인가요

• 일반적인 영어 문장으로 장면을 설명하면 대규모 언어 모델(LLM)이 해당하는 Manim 파이썬 코드를 생성하고, 이를 동영상으로 렌더링하는 오픈소스 도구 키트입니다.
• Manim 렌더러 자체가 결정론적 검증자라는 아이디어를 기반으로 합니다: 생성된 코드는 올바른 애니메이션을 생성하거나 실패(크래시)하며, 이는 학습에 보상 신호로 활용될 수 있습니다.

핵심 구성 요소

구성 요소	목적
LLM → Manim 코드 엔진	자연어 프롬프트를 Manim 스크립트로 변환하는 모델 래퍼 모음(GPT‑4o, Claude, Gemini, Featherless를 통한 오픈웨이트 모델, LiteLLM 프록시 등).
API	REST 스타일의 Animation Processing Interface로, 프롬프트를 입력받아 모델을 선택하고 생성을 실행한 후 렌더링된 동영상(또는 원시 Python 코드)을 반환합니다.
웹 데모	generative-manim.vercel.app 에 호스팅되어 있으며, 브라우저에서 엔드투엔드 흐름을 확인할 수 있습니다.
Animo 데스크톱 앱	동일한 파이프라인의 패키지화된 로컬 렌더링 버전으로, 사용자 개인정보 보호와 클라우드 비용 없이 사용 가능합니다.
학습 파이프라인	Qwen 2.5‑Coder 7B, DeepSeek‑Coder V2 Lite, CodeLlama 7B 등의 오픈웨이트 모델을 3단계 프로세스(Supervised Fine-Tuning → Direct Preference Optimization → Group Relative Policy Optimization)로 미세조정하는 오픈소스 스크립트이며, Manim 렌더러가 보상으로 사용됩니다.
벤치마크 스위트	어떤 모델이 Manim 코드를 생성하든, 재현 가능한 평가(pass@k, 렌더링 기반 점수, 구조적 검사)를 제공합니다.

주요 기능

• 프롬프트 → 애니메이션: "A ball falls, bounces, and turns into a star" 과 같은 문장을 입력하면 바로 재생 가능한 동영상이 생성됩니다.
• 다양한 모델 백엔드: OpenAI, Anthropic, Google Gemini, Moonshot 공식 지원 외에도 Featherless 또는 LiteLLM를 통해 오픈웨이트 모델에 접근 가능합니다.
• Animo를 통한 로컬 렌더링: 코드나 동영상을 업로드할 필요 없이, 모든 작업이 사용자의 기기에서 수행됩니다.
• 내보낼 수 있는 코드: 생성된 Manim 스크립트를 제공하여 편집, 버전 관리, 재사용이 가능합니다.
• 오픈소스 학습: 자체 코드 생성 모델을 훈련할 수 있는 스크립트와, 실행 가능한 Manim 코드를 얼마나 자주 생성하는지 측정하는 벤치마크를 제공합니다.
• 커뮤니티 리소스: 논의를 위한 Discord, 정리된 Manim Awesome Skills 리포지토리, 그리고 자세한 배포 문서(Docker/Render).

일반적인 워크플로우

1. 설명 작성 – Manim 지식 없이 일반 영어로 작성.
2. 모델 선택 – 고성능 모델(GPT‑4o 등) 또는 저비용 오픈웨이트 모델 선택.
3. 코드 생성 – API가 LLM을 호출하고, 파이썬 스크립트를 수신하며, 필요 시 스트리밍으로 반환.
4. 렌더링 – 스크립트를 Manim으로 실행하고, 결과 동영상을 반환하거나 Animo가 로컬에 저장.
5. 반복 – 프롬프트나 생성된 코드를 수정하고 다시 실행.

시작하기

• 데모 사용: https://generative-manim.vercel.app 에 접속하여 프롬프트를 입력하세요.
• 로컬에서 API 실행:

  git clone https://github.com/360macky/generative-manim.git
  cd generative-manim/api
  # OpenAI/Anthropic/Google API 키 설정
  export OPENAI_API_KEY=…
  uvicorn main:app --reload   # docs/cloud-deployment.md에 설명된 대로 Docker도 사용 가능
  

• Animo 사용: https://animo.video 에서 데스크톱 앱을 다운로드하고 설치한 후, 서버 없이 바로 생성을 시작하세요.
• 자신의 모델 훈련: training/ README를 따르세요. 제공된 5,000개 이상의 프롬프트-코드 쌍을 사용해 Qwen 2.5‑Coder 7B를 미세조정하고 벤치마크를 실행하는 방법이 설명되어 있습니다.

누가 도움을 받을 수 있나요

• 교육자 및 콘텐츠 제작자: Manim을 배우지 않고도 빠르게 설명용 애니메이션을 만들 수 있습니다.
• 개발자: 결정론적이고 시각적인 보상을 갖는 코드 생성 벤치마크를 찾는 사람.
• 연구자: LLM 기반 프로그래밍에 관심이 있으며, 출력이 자동으로 검증 가능한 분야(렌더링된 동영상)에 주목하는 사람.
• 학생: 자연어에서 생성된 애니메이션을 통해 물리나 수학 개념을 시각적으로 탐구하고 싶은 사람.

커뮤니티 및 지원

• Discord: https://discord.gg/SNdbPU2AMM
• GitHub에서 이슈 및 풀 리퀘스트를 환영합니다.
• 후원: 현재 The Astronomical Software Company가 후원하고 있습니다.

---

위 모든 정보는 리포지토리의 README에서 직접 가져왔으며, 추가 기능은 추측되지 않았습니다.