nashsu/llm_wiki

해결하는 문제

LLM Wiki는 분산된 문서를 자동으로 구조화되고 상호 연결된 개인 지식 기반으로 변환합니다. 전통적인 RAG 시스템이 실시간으로 정보를 검색하는 반면, 이 시스템은 점진적으로 구축하고 지속적으로 유지되는 영구적인 위키를 제공하여, 지식을 한 번만 컴파일하고 최신 상태로 유지함으로써 각 쿼리마다 다시 추론할 필요가 없습니다.

작동 방식

시스템은 세 가지 계층 아키텍처를 따릅니다: 원시 소스(불변) → 위키(LLM 생성) → 스키마(규칙 및 구성). LLM이 먼저 소스를 분석하여 엔티티와 연결을 식별한 후, 소스 추적 가능성을 유지하면서 실제 위키 페이지를 생성하는 두 단계의 체인 오브 사고 인제스트 프로세스를 사용합니다.

주요 기술 구성 요소는 다음과 같습니다:

• 지식 그래프: 직접 링크, 소스 겹침, 커뮤니티 탐지(Louvain 알고리즘)를 사용한 관련성 모델로 지식 클러스터를 시각화하고 탐지합니다.
• 검색 파이프라인: 토큰 기반 검색, 선택적 벡터 의미 검색(LanceDB를 통해), 그래프 확장이 결합된 다단계 프로세스로 LLM에 맥락을 제공합니다.
• 에이전트 백엔드: 위키/웹 검색, 파일 생성, 승인된 쉘 명령어 실행을 위한 도구를 사용할 수 있는 Rust 기반 챗 에이전트입니다.
• 딥 리서치: 지식 격차를 자동으로 식별하고, 웹 검색(Tavily, SerpApi, SearXNG)을 활용하여 새로운 정보를 위키에 통합하는 자동화된 파이프라인입니다.

대상 사용자

대량의 문서를 관리하고, 노트를 자동으로 정리하며, 아이디어 간의 놀라운 연결을 발견하고, 장기적으로 구조화된 지식 기반을 유지하고자 하는 연구자, 학생, 전문가를 위한 것입니다.

주요 특징

• 이중 단계 인제스트: 분석과 생성을 분리하여 위키 품질과 소스 추적 가능성을 향상시킵니다.
• 지식 그래프 인사이트: "놀라운 연결", 고립된 페이지, 지식 격차를 자동으로 탐지합니다.
• 딥 리서치: LLM 최적화된 웹 검색을 통해 발견한 내용을 자동으로 위키에 반영합니다.
• Obsidian 호환성: 생성된 위키 디렉터리는 Obsidian 백업으로 사용 가능합니다.
• 다중 모달 지원: PDF에서 이미지를 추출하고, 비전 LLM을 사용해 사실 기반 캡션을 생성합니다.
• 에이전트 기능 확장: 로컬 SKILL.md 파일을 지원하여 에이전트의 기능을 확장할 수 있습니다.