zrt-ai-lab/ViNote

해결하는 문제

ViNote는 YouTube 및 Bilibili와 같은 플랫폼과 로컬 파일의 비디오 콘텐츠를 구조화된 지식 자산으로 변환합니다. 정보 추출을 위해 긴 비디오를 수동으로 시청하는 수고를 없애고, 전사, 요약 및 지식 구성을 자동화합니다.

작동 방식

이 시스템은 기존 플랫폼 자막을 우선적으로 추출하여 시간을 절약하는 파이프라인을 사용합니다. 자막이 없는 경우 Faster-Whisper를 사용하여 로컬 오디오 전사를 수행합니다. 그런 다음 LLM(OpenAI 호환 API를 통해)이 텍스트를 처리하여 구조화된 Markdown 노트, 요약 및 마인드맵을 생성합니다. 또한 DeepSeek Harness SDK로 구동되는 AI 에이전트(ViNoter)를 갖추고 있어, 사용자가 자연어를 사용하여 플랫폼 간에 비디오를 검색하고 노트 생성을 트리거할 수 있습니다.

대상 사용자

• 학생 및 연구자: 교육용 비디오에서 정보를 빠르게 종합해야 하는 사람들.
• 콘텐츠 제작자: 비디오 기반 연구를 정리하려는 사람들.
• 지식 근로자: 비디오 튜토리얼을 검색 가능한 구조화된 문서로 변환하려는 사람들.

주요 기능

• 대화형 비디오 검색: 자연어 요청에 따라 YouTube 및 Bilibili를 검색하고 노트를 생성하는 AI 에이전트.
• 다중 형식 출력: 구조화된 노트, 요약, 대화형 마인드맵(Markmap을 통해) 및 지식 카드를 자동으로 생성.
• 유연한 입력: 온라인 URL, 로컬 비디오 파일(MP4, AVI, MOV, MKV) 및 재생 목록의 일괄 처리를 지원.
• 지식 관리: 태그로 노트를 분류하고 전체 텍스트 검색을 수행하는 SQLite 기반 시스템을 포함.
• QtGui 기반 ASR: Whisper, FunASR 및 Qwen3를 포함한 여러 ASR 공급자를 지원.