Orkas-AI/Orkas-VideoStudio
Turn your coding agent into a video studio: describe a video in plain language, and your agent writes the timeline and produces the file.
해결하는 문제
OrkasVideoStudio는 AI 코딩 에이전트(Claude Code, Cursor, Codex 등)가 자연어를 사용하여 동영상을 구성하고 생성하며 편집할 수 있는 방법을 제공합니다. "블랙박스"형 AI 동영상 생성에서 벗어나, 읽기 쉬우며 편집 가능하고 차이 비교가 가능한 중간 표현(plan.json)을 사용함으로써, 에이전트와 사용자가 전체 프로젝트를 다시 렌더링하지 않고도 동영상의 특정 부분을 정확히 수정할 수 있습니다.
작동 방식
이 시스템은 에이전트가 따라야 할 지식과 결정론적 기능을 제공하는 툴킷으로 작동합니다. 네 가지 "생산 라인"을 통해 작동합니다:
- 구성: HyperFrames를 통해 HTML/CSS를 사용하여 스크립트에서 모션 그래픽 및 설명 영상을 생성합니다.
- 편집:
ffmpeg와whisper.cpp를 사용하여 침묵 자르기, 불필요한 말 제거, 오디오 믹싱, 자막 삽입 등의 결정론적 동영상 편집 작업을 수행합니다. - 생성: 외부 AI 제공자(사용자 제공 키)와 연동하여 대화형 헤드 또는 영화 같은 영상 콘텐츠를 생성합니다.
- 자동: 다른 세 가지 라인을 하나의
plan.json으로 통합하는 엔드투엔드 파이프라인이며, 최종 출력물이 원래 요구 사항을 충족하는지 검증하는 "배달 가드"를 포함합니다.
에이전트는 제공된 "스킬"(지식 팩)을 사용하여 CLI(ovs) 또는 MCP 서버를 통해 툴킷과 상호작용하며, 요청을 라우팅하고 생산 파이프라인을 실행하는 방법을 이해합니다.
대상 사용자
- 동영상 제작을 자동화하고 싶은 AI 코딩 에이전트를 사용하는 개발자.
- API 키와 최종 타임라인을 완전히 제어할 수 있으며, 감사 가능하고 로컬 우선의 동영상 생성 워크플로우를 원하는 사용자.
- 긴 녹화 영상에서 하이라이트 클립을 자동으로 생성하거나, 로컬라이즈된 동영상 콘텐츠를 자동으로 생성해야 하는 팀.
주요 특징
- 편집 가능한 IR:
plan.json을 사용하여 스크립트의 한 줄이나 클립 하나만 변경해도 부분적인 재렌더링만 필요합니다. - 에이전트 독립적: 쉘을 실행하거나 MCP를 지원하는 모든 에이전트와 호환됩니다.
- 키 없이 핵심 기능: 유료 API 키 없이도 핵심 구성 및 편집 기능이 작동합니다.
- BYO 생성: OpenAI, Gemini, MuAPI 등 다양한 제공자(이미지, 동영상, TTS)를 지원하며, 벤더 종속성이 없습니다.
- 결정론적 가드: 최종 동영상의 길이, 오디오, 모션을 검증하는
promise-check도구를 포함합니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트