via007/bilibili-rag

해결하는 문제

Bilibili 동영상 컬렉션(인터뷰, 강의, 코스 등)을 검색 가능하고 대화형인 개인 지식 베이스로 변환합니다. 이를 통해 사용자는 저장된 동영상을 처음부터 끝까지 다시 볼 필요 없이 특정 정보를 검색하거나 내용에 대해 질문할 수 있습니다.

작동 방식

이 시스템은 동영상 콘텐츠를 쿼리 가능한 형식으로 처리하기 위해 다음 파이프라인을 따릅니다.

1. 콘텐츠 추출: Bilibili에 로그인하여 사용자의 컬렉션을 읽고 동영상 콘텐츠를 가져옵니다.
2. 전사(Transcription): 자동 음성 인식(ASR)을 사용하여 동영상 오디오를 텍스트로 변환합니다. 직접적인 오디오 링크를 사용할 수 없는 경우, ffmpeg를 사용하여 로컬에 오디오를 다운로드하고 업로드하여 처리합니다.
3. 인덱싱: 전사된 텍스트는 벡터로 변환되어 기존 데이터베이스(SQLite)와 함께 벡터 데이터베이스(ChromaDB)에 저장됩니다.
4. 검색 및 생성: RAG(Retrieval-Augmented Generation) 아키텍처를 사용하여 사용자의 쿼리에 따라 관련 텍스트 세그먼트를 검색하고, LLM을 사용하여 근거 있는 답변을 생성합니다.

대상 사용자

• 기술 동영상이나 공개 강의를 정리하는 학생 및 연구원.
• 팟캐스트, 인터뷰, 회의 녹음을 아카이빙하는 전문가.
• Bilibili 동영상 컬렉션에서 지식을 요약하고 복습하려는 모든 사람.

주요 특징

• 자동화 파이프라인: 컬렉션 가져오기부터 ASR 및 벡터 인덱싱까지 모든 과정을 처리합니다.
• 멀티파트 지원: 멀티파트(multi-P) 동영상을 순차적으로 처리할 수 있습니다.
• RAG 기반 채팅: 출처를 추적할 수 있는 대화형 답변을 제공합니다.
• 내보내기 옵션: 원본 콘텐츠나 AI가 생성한 노트를 Markdown으로 내보낼 수 있습니다.
• 통합: OpenClaw 스킬이 포함되어 있어 외부 에이전트가 지식 베이스에 접근할 수 있습니다.