bradautomates/claude-video

解决的问题

此项目提供了一种让 AI 代理（如 Claude Code 或 Codex）能够“观看”视频的方法，将其转换为代理可以理解的格式：带有时间戳的帧与逐字稿。它允许代理分析视频内容、总结视觉事件，并提供来自本地文件与 URL 的带时间戳证据。

运作方式

该工具通过两个主要引擎运作：

1. Gemini Engine：将视频直接发送至 Google 的代理视频模型进行分析，并传回带有时间戳的答案。
2. Local Engine：使用 ffmpeg 和 yt-dlp 在用户机器上处理视频，以提取帧与逐字稿。它通过多种选项处理转录：原生字幕、通过 WhisperX 进行本地推论（在独立的 Python 环境中管理），或使用 Groq 和 OpenAI 等云端 API。

适用对象

需要让 AI 代理处理与分析视频证据的本地 AI 代理（Claude Code、Codex 及其他 Agent Skills 主机）开发者与用户。

特色亮点

• 多引擎支持：可选择高性能云端分析 (Gemini) 或私有本地处理。
• 灵活的转录功能：支持原生字幕、本地 WhisperX 转录以及云端 Whisper API (Groq/OpenAI)。
• 代理整合：原生支持 Claude Code (Desktop, VS Code, Terminal) 与 Codex 插件。
• 可自定义细节：提供不同的采样模式 (efficient, balanced, token-burner)，根据代理的 Token 预算控制提取的帧数量。
• 智能帧选择：使用场景变更检测与 RGB 缩略图去重，以避免冗余帧。