Xiaoc7r/DOVideo-AI

解决的问题

DoVideoAI 旨在处理分析长视频内容的挑战，这通常既耗时、资源密集，且在 AI API 调用方面成本高昂。它将长视频转换为结构化、可搜索且可追溯的知识，通过要求每个结论都必须由原始视频中特定的时间戳证据支持，从而防止 AI 常见的“幻觉”。

运作方式

该系统使用多层次方法来处理视频数据：

1. 多模态上下文提取：使用 FFmpeg 进行音频切片和场景变更检测。随后并行运行 ASR（自动语音识别）和 OCR（光学字符识别），以创建包含语音、文字和带有时间戳的关键帧的统一 VideoSegment。
2. 混合检索：系统为视频的 5 分钟片段生成摘要、关键词和嵌入。它结合了关键词匹配和 Qdrant 向量搜索，为用户的查询检索最相关的证据。
3. 代理循环：专门的代理循环（规划器 $\rightarrow$ 执行器 $\rightarrow$ 评论家）将用户目标分解为任务。评论家确保输出是结构化的并由时间戳证据支持；如果不是，它会触发对视频内容的针对性重新搜索。
4. 可靠的管道：为了处理大文件和长处理时间，它采用了带有断点续传的分块上传、通过 RocketMQ 进行的异步处理，以及用于控制成本的速率限制。

适用对象

它适用于需要从长视频中提取结构化见解的用户，例如制作学习指南的学生、寻找逻辑缺陷的审阅者，或提取精华片段的创作者，无需手动观看整部视频。

特色亮点

• 基于证据的 AI：每个结论都绑定到一个时间戳，确保可追溯性并防止 AI 捏造。
• 异步处理：使用 RocketMQ 和 Redis 确保视频分析不会阻塞主请求线程。
• 多模态融合：将 ASR 和 OCR 数据组合成单一的可搜索时间轴。
• 专业分析模式：提供通用分析、学习（大纲/测验）、审阅（逻辑漏洞）和创作（脚本/钩子）的专用模式。
• 容错能力：通过 MySQL 和 Redis 进行检查点设置，允许从最后一个成功阶段恢复任务。