jordanrendric/claude-video-vision

해결하는 문제

이 프로젝트는 Claude Code가 "시청"하고 동영상 콘텐츠를 이해할 수 있도록 하는 인지 계층을 제공합니다. 텍스트 기반 LLM과 동영상 파일 또는 YouTube URL 사이의 격차를 메우기 위해 시각적 및 청각적 데이터를 Claude가 처리할 수 있는 형식으로 변환합니다.

작동 방식

이 플러그인은 다음 파이프라인을 사용하여 동영상을 처리하는 MCP(Model Context Protocol) 서버로 작동합니다.

1. 시각적 추출: ffmpeg를 사용하여 FPS 및 해상도와 같은 매개변수에 따라 프레임을 이미지(JPEG, PNG, WebP)로 추출합니다.
2. 음성 처리: 세 가지 백엔드 중 하나를 사용하여 음성을 자동으로 텍스트로 변환합니다: Gemini API, 로컬 Whisper(whisper.cpp 또는 openai-whisper), OpenAI API. YouTube 동영상의 경우 수동 자막을 우선적으로 사용하고, 그 다음 자동 자막, 마지막으로 음성 추출을 수행합니다.
3. 데이터 전달: 추출된 프레임과 타임스탬프가 붙은 자막을 직접 Claude에 전달하여 모델이 시각적 및 청각적 이벤트를 해석할 수 있도록 합니다.
4. 적응형 샘플링: 사용자 쿼리에 따라 Claude는 추출 설정(예: 특정 타임스탬프의 해상도 증가)을 동적으로 조정할 수 있습니다.

대상 사용자

동영상 파일 분석, YouTube 튜토리얼 요약, 또는 수동 자막 작성이나 스크린샷 없이 시각적 버그 보고서를 디버깅해야 하는 Claude Code 개발자 및 사용자.

주요 특징

• 다중 모달 입력: 직접적인 이미지 프레임과 타임스탬프가 붙은 음성 텍스트를 결합합니다.
• YouTube 통합: yt-dlp를 통해 YouTube 동영상의 다운로드 및 처리를 네이티브로 지원합니다.
• 유연한 백엔드: 속도를 우선시하는 클라우드 기반 API 또는 프라이버시와 비용을 고려한 완전한 로컬 Whisper 처리를 지원합니다.
• 동적 제어: FPS, 시간 범위, 해상도를 실시간으로 조정하여 특정 순간에 집중할 수 있습니다.