open-ribbi/velocut

해결하는 문제

Velocut는 AI 에이전트를 일급 사용자로 통합하도록 설계된 로컬 퍼스트 브라우저 기반 비디오 에디터입니다. 영상을 서버에 업로드할 필요가 없어 개인정보 보호와 성능을 보장하며, 사용자가 타임라인을 수동으로 조작하는 대신 자연어 명령을 사용하여 비디오를 편집할 수 있게 합니다.

작동 방식

이 시스템은 "프로토콜 퍼스트" 아키텍처를 사용하여 인간 사용자(UI를 통해)와 AI 에이전트(LLM을 통해)가 모두 중앙 문서 모델에 동일한 JSON 명령 프로토콜을 발행합니다.

• 엔진: 유연성을 위해 표준 Rust 엔진(WASM로 컴파일됨)과 TypeScript 레퍼런스 엔진을 특징으로 합니다.
• 렌더링: 합성에는 WebGPU를, 비디오 디코딩 및 내보내기에는 WebCodecs를 활용합니다.
• AI 통합: LLM 에이전트(Anthropic 호환 제공업체 지원)는 프레임 캡처 및 샷 경계 탐지를 통해 비디오를 "보고", 음량 및 무음 분석을 통해 "듣고", JSON 명령을 엔진에 직접 전송하여 편집을 수행할 수 있습니다.
• 스토리지: 미디어는 Origin Private File System (OPFS)에, 프로젝트 데이터는 IndexedDB에 저장되어 CRDTs를 통한 멀티 탭 동기화와 함께 로컬 퍼스트 경험을 제공합니다.

대상

데이터를 로컬에 유지하면서 지루한 편집 작업을 자동화할 수 있는 투명하고 수정 가능한 방법을 제공하는 AI 지원 워크플로우를 원하는 비디오 편집자 및 콘텐츠 크리에이터.

주요 특징

• AI 네이티브 편집: 자연어 명령(예: "무음 부분 잘라내기")이 정확한 엔진 명령으로 변환됩니다.
• 로컬 퍼스트 개인정보 보호: 설치나 업로드가 필요 없으며, 영상은 사용자의 기기에 그대로 유지됩니다.
• 브랜칭 히스토리: 인간과 AI의 작업이 색상별로 구분되며 포크(fork)가 가능한 비선형 편집 히스토리를 지원합니다.
• 고급 브라우저 기술: WebGPU와 WebCodecs를 사용하여 메모리 낭비 없이 고성능 렌더링 및 mp4 내보내기를 지원합니다.
• 에이전트 인지: AI 에이전트는 음량, 무음 및 샷 경계를 분석하여 정보에 기반한 편집 결정을 내릴 수 있습니다.