Rimagination/bili-note

해결하는 문제

Bili Note는 Bilibili 동영상과 이미지-텍스트 게시물을 지식 기반용 구조화된 고품질 Markdown 노트로 변환합니다. 동영상 콘텐츠에서 중요한 정보를 잃는 문제를 해결하기 위해 자막, 댓글, 시각 자료를 아카이브하고, 일반적인 요약에 흔한 단점들을 피하는 검색 가능하고 학습 가능한 형식으로 변환합니다.

작동 방식

이 도구는 여러 계층의 기능을 사용하여 Bilibili에서 데이터를 추출합니다:

• 콘텐츠 추출: 브라우저 접근을 통해 접근 가능한 공개 자막 또는 AI 생성 자막, 이미지-텍스트 본문, 댓글을 수집합니다.
• 음성 인식(ASR): 자막이 부족하거나 없을 경우, FFmpeg를 통해 Qwen3-ASR(중국어용) 또는 Whisper/faster-whisper(외국어용) 등의 ASR 백엔드를 사용하여 음성을 텍스트로 변환합니다.
• 시각 이해: 선택적으로 최대 12개의 키프레임을 추출하여 컨택트 시트를 생성하여, 텍스트로 포착되지 않은 PPT, 코드, 보드 글씨 등을 비전 모델이 해석할 수 있도록 합니다.
• 동적 노트 생성: 콘텐츠의 정보 밀도와 상호작용률 같은 품질 신호를 기반으로 "노트 예산"(추천 길이와 세부 수준)을 결정한 후 최종 Markdown 노트를 작성합니다.
• 증거 인덱싱: 노트 내 핵심 주장은 번호 매긴 발언(footnote)을 통해 원본 자료에 연결되어 검증이 가능합니다.

대상 사용자

• 기술 동영상, 강의, 장시간 튜토리얼 등을 활용해 학습하거나 연구하는 사용자.
• Obsidian 등 개인 지식 기반을 유지하며 Bilibili 콘텐츠를 장기 보존하고 에이전트 기반 Q&A에 활용하고자 하는 사용자.

주요 특징

• 품질 인식 압축: 고정 길이가 아니라 콘텐츠의 실제 정보 가치에 따라 노트의 세부 수준을 조정합니다.
• 다중 모달 통합: 텍스트, 음성 인식, 시각 키프레임 분석을 통합하여 중요한 정보를 놓치지 않습니다.
• 증거 기반: 원본 자막과 메타데이터를 포함한 자료 패키지를 제공하며, 노트를 특정 증거 인덱스에 연결합니다.
• 유연한 ASR: Qwen3-ASR 및 Whisper 등 다양한 전사 백엔드를 지원합니다.