HUANGCHIHHUNGLeo/claude-real-video

解决的问题

许多 LLM 无法原生「观看」视频文件，或仅通过读取字幕或以固定间隔（例如每秒 1 帧）采样帧来处理视频。这常常导致错过快速剪辑，或在静态场景中浪费 token。claude-real-video 通过仅提取最具意义的视觉变化并提供带时间戳的字幕，使任何 LLM 都能有效「观看」视频，同时所有处理均在用户本地机器上完成。

工作原理

该工具使用一系列专用工具在本地处理视频：

1. 帧提取：使用 ffmpeg 基于场景变化检测而非固定间隔提取帧。
2. 去重：采用滑动窗口去重机制，移除几乎相同的帧，确保仅将独特的视觉信息发送给 LLM。
3. 转录：使用 OpenAI 的 Whisper（或 faster-whisper 和 mlx-whisper 以实现优化性能）生成带时间戳的字幕。
4. 打包：输出一个包含关键帧、MANIFEST.txt 文件和字幕的整洁文件夹，用户可将其上传至 Claude、ChatGPT 或 Gemini 等 LLM。
5. 集成：可作为编码代理（Claude Code、Cursor 等）的技能安装，或作为 MCP 服务器运行，使代理可直接触发视频分析流程。

适用人群

• AI 高级用户：希望在不将原始文件上传至云服务商的情况下，为 LLM 提供视频视觉上下文的用户。
• 研究人员与分析师：需要分析长会议、教程或屏幕录制的用户，其中特定视觉线索（如代码或幻灯片）至关重要。
• 开发者：正在构建需要「观看」并推理视频内容的 AI 代理的开发者。

特色亮点

• 本地处理：视频分析、帧提取和转录均在您的机器上完成；仅最终选定的帧和文本与 LLM 共享。
• 智能采样：使用场景变化检测和自适应采样，捕捉快速剪辑和缓慢变化，同时将静态幻灯片压缩为单帧。
• uma 网格视图：可将帧排列成 3x3 接触表，帮助模型以更少的 token 跟踪运动和进展。
• 高级音频功能：支持本地说话人分离，为字幕中标记不同说话人。
• 记忆系统：将所有观看过的视频本地索引到 SQLite 数据库中，允许用户使用 crv-ask 搜索其整个视频库。
• MCP 服务器支持：可直接与 Claude Desktop、Cursor 等 MCP 兼容客户端集成。