HUANGCHIHHUNGLeo/claude-real-video

해결하는 문제

많은 LLM은 동영상 파일을 직접 '보는' 기능이 없거나, 고정 간격(예: 1초당 1프레임)으로 프레임을 샘플링하거나 트랜스크립트를 읽는 방식으로만 처리합니다. 이로 인해 빠른 컷을 놓치거나 정적 장면에서는 토큰을 낭비하게 됩니다. claude-real-video는 시각적 변화 중 가장 의미 있는 부분만 추출하고 타임스탬프가 있는 트랜스크립트를 제공함으로써, 어떤 LLM도 동영상을 효과적으로 '시청'할 수 있도록 합니다. 모든 처리는 사용자의 기기에서 로컬로 이루어지며, 클라우드에 원본 파일을 업로드할 필요가 없습니다.

작동 방식

이 도구는 전용 유틸리티의 파이프라인을 사용해 로컬에서 동영상을 처리합니다:

1. 프레임 추출: 고정 간격이 아닌 장면 전환 감지 기반으로 ffmpeg를 사용해 프레임을 추출합니다.
2. 중복 제거: 슬라이딩 윈도우 기반의 중복 제거 과정을 통해 거의 동일한 프레임을 제거하여, LLM에 전달되는 것은 유일한 시각 정보만이 되도록 합니다.
3. 트랜스크립트 생성: OpenAI의 Whisper(또는 성능 최적화를 위한 faster-whisper 및 mlx-whisper)를 사용해 타임스탬프가 있는 트랜스크립트를 생성합니다.
4. 패키징: 키프레임, MANIFEST.txt 파일, 트랜스크립트를 포함한 깔끔한 폴더를 출력하며, 사용자는 이를 Claude, ChatGPT, Gemini 등의 LLM에 업로드할 수 있습니다.
5. 통합: 코딩 에이전트(Claude Code, Cursor 등)의 스킬로 설치하거나 MCP 서버로 실행할 수 있어, 에이전트가 직접 동영상 분석 프로세스를 트리거할 수 있습니다.

대상 사용자

• AI 고급 사용자: 클라우드 제공업체에 원본 파일을 업로드하지 않고도 LLM에 동영상의 시각적 맥락을 제공하고 싶은 사용자.
• 연구자 및 분석가: 특정 시각적 신호(코드나 슬라이드 등)가 중요한 긴 회의, 튜토리얼, 화면 녹화를 분석해야 하는 사용자.
• 개발자: 동영상 콘텐츠를 '보는' 것과 그 내용에 대해 추론할 수 있는 능력을 갖춘 AI 에이전트를 개발하는 사용자.

주요 특징

• 로컬 처리: 동영상 분석, 프레임 추출, 트랜스크립트 생성은 모두 사용자의 기기에서 수행되며, LLM에 공유되는 것은 최종적으로 선택된 프레임과 텍스트뿐입니다.
• 스마트 샘플링: 장면 전환 감지와 적응형 샘플링을 사용해 빠른 컷과 천천히 변화하는 장면을 포착하면서 정적 슬라이드는 단일 프레임으로 압축합니다.
• uma 그리드 뷰: 프레임을 3x3 접촉 시트로 정렬해 모델이 움직임과 진행 상황을 더 적은 토큰으로 따라가도록 도와줍니다.
• 고급 오디오 기능: 로컬에서 스피커 디아라이제이션을 지원해 트랜스크립트 내에서 다른 발화자를 라벨링할 수 있습니다.
• 메모리 시스템: 모든 시청한 동영상을 로컬 SQLite 데이터베이스에 인덱싱하여 crv-ask를 통해 사용자의 전체 동영상 라이브러리에서 검색할 수 있습니다.
• MCP 서버 지원: Claude Desktop, Cursor 등과 같은 MCP 호환 클라이언트와 직접 통합됩니다.