atomicstrata/llm-wiki-compiler

해결하는 문제

llmwiki는 원시적이고 비구조화된 데이터(PDF, 노트, 웹 페이지, 녹취록 등)를 구조화되고 상호 연결된 Markdown 위키로 변환합니다. 전통적인 RAG(Retrieval-Augmented Generation)이 쿼리 시에 원시적인 청크를 검색하는 반면, llmwiki는 지식을 한 번만 컴파일하여 지속 가능하고 인용 추적 가능한 페이지로 생성합니다. 이로 인해 질문을 할 때마다 문서 간의 관계를 다시 발견할 필요가 없습니다.

작동 방식

이 시스템은 개념 추출과 타입이 지정된 페이지(개념, 엔티티, 비교 등) 생성을 위한 두 단계의 LLM 파이프라인을 사용합니다. 지식 관리의 '컴파일 타임' 접근 방식을 구현합니다:

1. 수집: 원시 소스는 sources/ 디렉터리에 수집됩니다.
2. 컴파일: LLM이 이 소스들을 YAML 프론트마터가 포함된 상호 연결된 Markdown 파일로 처리하여 wiki/ 디렉터리에 저장합니다.
3. 라이프사이클 프로파일: 사용자는 .llmwiki/profile.json을 정의하여 타입이 지정된 엔티티, 관계, 워크플로우를 선언함으로써 생성된 지식이 특정 도메인 스키마(예: 연구 또는 편집)에 따라야 함을 보장할 수 있습니다.
4. 검색: 세미틱 청크 검색, BM25 리랭킹, 위키 링크 그래프 확장을 결합한 하이브리드 접근 방식을 사용하여 쿼리에 대한 맥락을 제공합니다.

대상 사용자

• AI 에이전트 개발자: 안정적이고 인용을 고려한 컨텍스트 팩이 필요한 에이전트를 구축하는 개발자.
• 연구자 및 편집자: 대량의 도메인 특화 자료를 관리하고 감사 가능하며 구조화된 지식 기반이 필요한 사람.
• 지식 엔지니어: 지속적이고 누적 가능한 지식을 구현하기 위해 'LLM 위키' 패턴을 적용하고자 하는 사람.

주요 특징

• 인용 추적 가능성: 모든 주장과 단락이 특정 소스 파일과 라인 범위를 인용하며, 내장된 린터로 검증됩니다.
• 사용자 정의 가능한 라이프사이클 프로파일(CLP): 강제된 엔티티 스키마와 신뢰 게이트를 갖춘 도메인 특화 지식 기반을 생성할 수 있습니다.
• MCP 서버: 에이전트가 wiki의 기능(수집, 컴파일, 쿼리, 평가)에 접근할 수 있도록 MCP 호환 에이전트에 노출합니다.
• 오픈 지식 포맷(OKF): 포터블 Markdown 번들로 지식을 가져오고 내보낼 수 있도록 지원합니다.
• 품질 게이트: 평가 허브(llmwiki eval)와 리뷰 정책을 포함하여 생성된 페이지를 인간의 승인을 기다리게 합니다.