oxbshw/watch-skill

해결하는 문제

Watch Skill은 AI 에이전트가 동영상, 오디오, 화면 활동을 인식하고, 결정론적 계약을 통해 행동 결과를 검증할 수 있는 능력을 제공합니다. 이는 멀티미디어 소스와 상호작용하거나 작업을 수행할 때 모델의 의견에 의존하는 것이 아니라, 검증 가능한 증거에 기반해 판단할 수 있도록 합니다.

작동 방식

이 프로젝트는 두 가지 주요 기능으로 구성됩니다:

1. 인식: 동영상, 오디오, 화면 활동을 프레임, 전사본, OCR 텍스트로 변환하며, 각각이 절대적 타임스탬프와 연결됩니다. 이를 통해 특정 순간을 증거로 인용할 수 있는 검색 가능한 인덱스를 생성합니다.
2. 검증: 별도의 프로세스가 "고정 계약"(파일 해시, JSON 값, SQL 결과, HTTP 응답, DOM 상태 등)을 평가하여 언어 모델이 아닌 결정론적 판단(VERIFIED, FAILED, UNVERIFIED, INCONCLUSIVE)을 제공합니다.

MCP(Model Context Protocol), CLI, 또는 REST API를 통해 기존 에이전트에 통합할 수 있습니다. 또한 DeepSeek Harness 기반의 전용 워크스페이스인 DeepWatch도 포함되어 있으며, 이러한 도구들을 미리 구성된 에이전트 환경에 통합합니다.

대상 사용자

• AI 에이전트 개발자: 에이전트가 멀티미디어 콘텐츠를 "보고", "듣고", 작업을 증명할 수 있도록 하고 싶은 사람.
• MCP 클라이언트 사용자: Claude Code, Cursor, Zed와 같은 도구를 사용하며 기존 에이전트에 인식 및 검증 기능을 추가하고 싶은 사용자.
• UI/UX 버그 수정 개발자: "THE LOOP"(관찰, 비평, 수정, 검증)을 사용하여 웹 애플리케이션의 시각적 결함을 자동으로 캡처하고 검증하고 싶은 사람.

주요 특징

• 결정론적 검증: 결과는 LLM이 아닌 별도의 프로세스에 의해 검증되어 정확성이 보장됩니다.
• 타임스탬프 기반 증거: 에이전트가 제공하는 모든 답변은 동영상 또는 오디오 소스 내 특정 타임스탬프를 인용합니다.
• THE LOOP: 브라우저 세션 캡처, 비전 모델을 통한 출력 비평, 코드 수정, 재캡처를 통한 수정 검증을 포함하는 전용 워크플로우입니다.
• 광범위한 에이전트 통합: Cursor, Claude Code, VS Code를 포함한 25개 이상의 에이전트를 MCP로 지원합니다.
• 로컬 우선: 수정에서 얻은 교훈은 로컬에 저장되며 업로드되지 않고, 실행 간에 지속됩니다.