via007/bilibili-rag

해결하는 문제

인터뷰, 강의, 강좌와 같은 Bilibili 동영상 컬렉션을 검색 가능하고 대화형 개인 지식 기반으로 변환합니다. 사용자는 저장한 동영상에서 특정 정보를 검색하고, 전체 영상을 다시 시청하지 않고도 동영상 내용을 기반으로 질문을 할 수 있습니다.

작동 방식

시스템은 동영상 콘텐츠를 질의 가능한 형식으로 처리하는 파이프라인을 따릅니다:

1. 콘텐츠 수집: 사용자의 컬렉션 폴더를 읽기 위해 Bilibili에 로그인합니다.
2. 음성 인식: 동영상에서 오디오를 추출하고, 자동 음성 인식(ASR)을 사용해 음성을 텍스트로 변환합니다. 직접 링크에 접근할 수 없는 경우, ffmpeg를 통해 오디오를 로컬에 다운로드하는 백업 메커니즘을 포함합니다.
3. 인덱싱: 변환된 텍스트를 벡터로 변환하고, 벡터 데이터베이스(ChromaDB)와 관계형 데이터베이스(SQLite)에 저장합니다.
4. 검색 및 생성: RAG(Retrieval-Augmented Generation) 아키텍처를 사용하여 관련 텍스트 조각을 의미적 검색으로 찾고, LLM을 사용해 해당 조각을 기반으로 답변을 생성합니다.

대상 사용자

• 기술 동영상이나 오픈 코스를 정리하는 학생 및 평생 학습자.
• 팟캐스트, 회의, 세션을 아카이브하는 전문가.
• Bilibili 동영상 컬렉션에서 지식을 효율적으로 요약하고 리뷰하고 싶은 누구나.

주요 기능

• 자동화된 파이프라인: 컬렉션 추출부터 ASR, 벡터 인덱싱까지 모든 과정을 자동 처리.
• 다중 파트 지원: 다중 파트(다중-P) 동영상의 음성 인식 및 인덱싱을 지원.
• 소스 추적 가능성: 답변은 변환된 동영상 콘텐츠에 기반합니다.
• 내보내기 옵션: 원본 콘텐츠 또는 AI 생성 노트를 Markdown 형식으로 내보낼 수 있습니다.
• OpenClaw 통합: 로컬 서비스를 OpenClaw 에이전트 프레임워크에 통합할 수 있는 기능을 포함합니다.