Xiaoc7r/DOVideo-AI

해결하는 문제

DoVideoAI는 긴 영상 콘텐츠 분석의 어려움(시간 소모, 리소스 집약적, 높은 AI API 비용)을 해결하도록 설계되었습니다. 영상을 구조화되고 검색 가능하며 추적 가능한 지식으로 변환하며, 모든 결론이 원본 영상의 특정 타임스탬프 증거에 의해 뒷받침되도록 요구함으로써 AI의 고질적인 문제인 '환각(hallucination)'을 방지합니다.

작동 방식

이 시스템은 영상 데이터를 처리하기 위해 다층적 접근 방식을 사용합니다:

1. 멀티모달 컨텍스트 추출: FFmpeg를 사용하여 오디오 슬라이싱 및 장면 전환 감지를 수행합니다. 그 후 ASR(자동 음성 인식)과 OCR(광학 문자 인식)을 병렬로 실행하여 음성, 텍스트, 타임스탬프가 포함된 키프레임이 담긴 통합 VideoSegment를 생성합니다.
2. 하이브리드 검색: 영상의 5분 단위 세그먼트에 대해 요약, 키워드, 임베딩을 생성합니다. 키워드 매칭과 Qdrant 벡터 검색을 결합하여 사용자의 쿼리에 가장 관련성 높은 증거를 검색합니다.
3. 에이전트 루프: 특수 에이전트 루프(플래너 $\rightarrow$ 실행자 $\rightarrow$ 비평가)가 사용자의 목표를 작업으로 분해합니다. 비평가는 출력이 구조화되어 있고 타임스탬프 증거로 뒷받침되는지 확인하며, 그렇지 않은 경우 영상 콘텐츠에 대한 타겟팅된 재검색을 트리거합니다.
4. 신뢰할 수 있는 파이프라인: 대용량 파일과 긴 처리 시간을 처리하기 위해 중단 지점 재개 기능이 있는 청크 업로드, RocketMQ를 통한 비동기 처리, 비용 제어를 위한 속도 제한을 사용합니다.

대상 사용자

전체 영상을 수동으로 시청할 필요 없이 긴 영상에서 구조화된 통찰력을 추출해야 하는 사용자(학습 가이드를 만드는 학생, 논리적 결함을 찾는 리뷰어, 하이라이트를 추출하는 크리에이터 등)를 위한 도구입니다.

주요 특징

• 증거 기반 AI: 모든 결론이 타임스탬프에 연결되어 추적 가능성을 보장하고 AI의 조작을 방지합니다.
• 비동기 처리: RocketMQ와 Redis를 사용하여 영상 분석이 메인 요청 스레드를 차단하지 않도록 합니다.
• 멀티모달 융합: ASR 및 OCR 데이터를 단일 검색 가능한 타임라인으로 결합합니다.
• 전문 분석 모드: 일반 분석, 학습(개요/퀴즈), 리뷰(논리적 허점), 제작(스크립트/훅)을 위한 전용 모드를 제공합니다.
• 결함 허용(Fault Tolerance): MySQL과 Redis를 통한 체크포인트 기능을 갖추어 마지막 성공 단계에서 작업을 복구할 수 있습니다.