browser-use/video-use

해결하는 문제

사용자가 자연어 채팅 인터페이스를 통해 원본 영상을 편집할 수 있도록 하여, 번거로운 동영상 편집 과정을 자동화합니다. 타임라인을 수동으로 스크롤하고 클립을 자르는 대신, 사용자는 원하는 결과(예: "이것들을 런칭 영상으로 편집해줘")를 설명하고 시스템이 자르기, 정리, 마무리 작업을 처리합니다.

작동 방식

모든 동영상 프레임을 처리하는 것은 계산 비용이 높고 노이즈가 많기 때문에, 시스템은 LLM이 구조화된 영상 뷰를 볼 수 있도록 이중 레이어 접근 방식을 사용합니다.

1. 음성 전사 레이어: ElevenLabs Scribe를 사용하여 단어 수준의 타임스탬프와 화자 분리(스피커 다이어리제이션)를 생성하여 영상 콘텐츠를 작은 텍스트 파일로 압축합니다. 이 파일은 LLM이 컷 계획을 세우기 위해 읽습니다.
2. 시각 복합 레이어: LLM이 특정 결정 포인트를 확인하거나 컷 경계의 타당성을 검증해야 할 때만 "타임라인 뷰"(필름스트립, 웨이브폼, 레이블을 포함한 PNG)를 생성합니다.

전략이 승인되면 시스템은 편집 결정 목록(EDL)을 생성하고, ffmpeg를 사용하여 동영상을 렌더링하며, 시각적 점프나 오디오 팝 여부를 확인하기 위한 자체 평가 루프를 실행한 후 최종 결과를 제시합니다.

대상 사용자

복잡한 편집 소프트웨어 메뉴를 다루고 싶지 않은 콘텐츠 크리에이터, 교육자, 전문가들로, 토크헤드 영상, 몽타주, 튜토리얼, 인터뷰 등을 제작해야 하는 경우에 적합합니다.

주요 기능

• 자동 정리: "umm", "uh" 같은 필러 단어와 촬영 간의 공백을 자동으로 제거합니다.
• 제작 마무리: 자동 컬러 그레이딩, 30ms 오디오 페이드로 팝 방지, 사용자 정의 가능한 버너 인 서브타이틀 적용.
• 에이전트 기반 애니메이션: HyperFrames, Remotion, Manim 등의 도구를 사용해 애니메이션 오버레이를 생성하는 병렬 하위 에이전트를 생성할 수 있습니다.
• 자기 수정: 각 컷 경계에서 렌더링된 출력을 평가하고 문제를 감지하면 다시 렌더링합니다.
• 세션 지속성: 프로젝트 파일에 진행 상황을 저장하여 나중에 편집 세션을 재개할 수 있습니다.