jordanrendric/claude-video-vision

解决的问题

该项目提供了一个感知层，使 Claude Code 能够「观看」并理解视频内容。它通过将视觉和听觉数据转换为 Claude 可处理的格式，弥合了基于文本的 LLM 与视频文件或 YouTube 链接之间的差距。

工作原理

该插件作为 MCP（模型上下文协议）服务器运行，使用以下流程处理视频：

1. 视觉提取：使用 ffmpeg 根据帧率（FPS）和分辨率等参数，将视频帧提取为图像（JPEG、PNG 或 WebP）。
2. 音频处理：使用三种后端之一进行音频转录：Gemini API、本地 Whisper（whisper.cpp 或 openai-whisper）、或 OpenAI API。对于 YouTube 视频，优先使用手动字幕，其次自动字幕，最后才进行音频转录。
3. 数据交付：将提取的帧和带时间戳的转录文本直接发送给 Claude，使模型能够解析视觉和听觉事件。
4. 自适应采样：根据用户查询，Claude 可动态调整提取设置（例如，针对特定时间点提高分辨率）。

适用人群

需要分析视频文件、总结 YouTube 教程，或在无需手动转录或截图的情况下调试视觉错误报告的 Claude Code 开发者和用户。

主要亮点

• 多模态输入：结合直接图像帧与带时间戳的音频文本。
• YouTube 集成：原生支持通过 yt-dlp 下载和处理 YouTube 视频。
• 灵活后端：支持云端 API 以提升速度，或完全本地 Whisper 处理以保障隐私和降低成本。
• 动态控制：允许 Claude 实时调整 FPS、时间范围和分辨率，以聚焦特定时刻。