bradautomates/claude-video

해결하는 문제

이 프로젝트는 AI 에이전트(Claude Code 또는 Codex 등)가 동영상을 '시청'할 수 있도록 동영상을 에이전트가 이해할 수 있는 형식인 타임스탬프가 포함된 프레임과 대본으로 변환하는 방법을 제공합니다. 이를 통해 에이전트는 동영상 콘텐츠를 분석하고, 시각적 이벤트를 요약하며, 로컬 파일 및 URL에서 타임스탬프가 찍힌 증거를 제공할 수 있습니다.

작동 방식

이 도구는 두 가지 주요 엔진을 사용하여 작동합니다.

1. Gemini Engine: 동영상을 Google의 에이전트형 동영상 모델로 직접 전송하여 분석하고 타임스탬프가 포함된 답변을 전달합니다.
2. Local Engine: ffmpeg 및 yt-dlp를 사용하여 사용자 기기에서 동영상을 처리하고 프레임과 대본을 추출합니다. 자막 처리에는 기본 자막, WhisperX를 통한 로컬 추론(별도의 Python 환경에서 관리), 또는 Groq 및 OpenAI와 같은 클라우드 API 등 여러 옵션을 지원합니다.

대상 사용자

동영상 증거를 처리하고 분석해야 하는 로컬 AI 에이전트(Claude Code, Codex 및 기타 Agent Skills 호스트) 개발자 및 사용자.

주요 특징

• 멀티 엔진 지원: 고성능 클라우드 분석(Gemini) 또는 비공개 로컬 처리 중 선택 가능.
• 유연한 자막 처리: 기본 자막, 로컬 WhisperX 자막 생성, 클라우드 기반 Whisper API(Groq/OpenAI) 지원.
• 에이전트 통합: Claude Code(Desktop, VS Code, Terminal) 및 Codex에 대한 기본 플러그인 지원.
• 사용자 지정 가능한 세부 정보: 에이전트의 토큰 예산에 따라 추출되는 프레임 수를 제어하는 샘플링 모드(efficient, balanced, token-burner) 제공.
• 스마트 프레임 선택: 장면 전환 감지 및 RGB 썸네일 중복 제거를 사용하여 중복 프레임 방지.