SAOS-3624/dsh-video-storyboard

해결하는 문제

이 도구는 AI를 사용하여 영상을 분석할 때 발생하는 높은 토큰 비용과 정보 손실 문제를 해결합니다. 수백 개의 개별 프레임을 전송하거나(너무 많은 토큰 소비) 자막에만 의존하는 대신(시각적 맥락 상실), 영상의 간결한 멀티모달 요약을 생성합니다.

작동 방식

영상을 한 장의 '스토리보드' 이미지(키 프레임 그리드)로 처리하고 타임코드가 포함된 텍스트 목록과 결합합니다. 이 목록에는 타임스탬프, 대화, 샷 카운트가 포함됩니다. 시각적 정보를 토큰 효율적인 작은 형식으로 압축함으로써, AI 모델이 모든 프레임을 처리할 필요 없이 영상의 내용, 속도, 대화를 이해할 수 있게 합니다.

대상 사용자

영상 내용을 빠르게 파악하고, 중요한 순간을 식별하거나, 전체 프레임 분석의 높은 비용 없이 특정 장면을 찾고자 하는 사용자를 위해 설계되었습니다. 시각적 맥락과 텍스트 세부 정보 사이의 균형이 필요한 분들에게 이상적입니다.

주요 특징

• 토큰 효율성: 90초 분량의 영상을 약 1,900개의 토큰으로 요약하여 프레임 단위 분석보다 훨씬 저렴합니다.
• 멀티모달 요약: 시각적 프레임 그리드와 텍스트 기반의 트랜스크립트 및 샷 목록을 결합합니다.
• 유연한 분석: 로컬 영상 파일 및 yt-dlp를 통한 링크를 지원하며, 대화 분석을 위한 선택적 ASR(자동 음성 인식) 기능을 제공합니다.
• 딥 줌(Deep Zoom): 초기 요약으로 부족할 경우 특정 세그먼트를 더 자세히 분석할 수 있는 video_zoom 기능을 포함합니다.
• 증거 기반: 모든 스토리보드에 대해 .evidence.json 파일을 생성하여 사용자가 원본 영상과 타임스탬프 및 내용을 대조하여 확인할 수 있도록 합니다.