atomicstrata/llm-wiki-compiler

The knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathy's LLM Wiki pattern.

llm-wiki-compiler (llmwiki)

정의 – 원시 문서(Markdown, PDF, 웹 페이지, 이미지 등)를 구조화되고 인용 가능한 마크다운 위키로 변환하는 오픈소스 CLI/SDK입니다. 위키는 LLM에 의해 한 번 컴파일된 후, 에이전트와 인간은 원본 파일을 다시 읽지 않고도 지식을 쿼리, 탐색, 린트, 내보내기, 재사용할 수 있습니다.

핵심 아이디어

  • 컴파일 타임 지식 – Andrej Karpathy의 LLM Wiki 패턴을 구현: LLM이 개념을 추출하고 유형화된 페이지(개념, 엔터티, 비교, 개요)를 한 번 생성하며, 출처와 인용을 저장합니다.
  • 구성 가능한 수명주기 프로필(CLP) – JSON 계약(.llmwiki/profile.json)이 엔터티 스키마, 관계, 상태 머신, 검토 게이트, 검색 정책을 정의합니다. 컴파일러는 런타임에 이러한 규칙을 강제합니다.
  • 검토 및 신뢰 게이트 – 생성된 페이지는 인간 검토를 위해 보류될 수 있습니다. 정책은 페이지가 공개되기 전에 증거, 신뢰도, 스키마 검사를 강제합니다.
  • 하이브리드 검색 – 의미적 청크 검색 + BM25 재순위 + 위키링크 그래프 확장으로 쿼리에 대한 간결한 증거 팩을 구성합니다.
  • 오픈 지식 형식(OKF) – 구조화된 프론트매터가 포함된 마크다운으로 컴파일된 위키의 휴대용 내보내기/가져오기, JSON/JSON-LD/GraphML/Marp 지원.
  • MCP 서버 및 SDK – 에이전트용 Machine-Control-Protocol(MCP) API와 프로그래밍 방식 사용을 위한 TypeScript SDK(createWiki)를 제공합니다.

주요 명령어(CLI)

명령어 용도
llmwiki ingest <url-or-file> 소스 파일/URL을 sources/에 추가합니다.
llmwiki quickstart <source> 원스텝 ingest + compile + 뷰어 열기.
llmwiki compile 개념을 증분 추출하고 위키 페이지를 생성합니다.
llmwiki view 각 컴파일 후 새로고침되는 읽기 전용 로컬 웹 UI를 실행합니다.
llmwiki query "질문" 컴파일된 위키에 대해 근거 기반 질문을 합니다. --save는 답변을 페이지로 저장합니다.
llmwiki lint 인용, 링크, 신선도, 정책 준수를 검증합니다.
llmwiki eval 건강 점수, 인용 범위, 회귀 메트릭을 생성합니다.
llmwiki export --target <format> / import OKF, JSON, GraphML 등을 통해 지식을 교환합니다.
llmwiki serve ingest, compile, query, lint, export 등을 노출하는 MCP 서버를 실행합니다.
`llmwiki template init <autosci newsroom>`
llmwiki profile … CLP 계약을 생성, 표시, 검증 또는 비교합니다.
llmwiki workflow … 선언된 워크플로 단계(예: 검토, 아티팩트 생성)를 나열하고 실행합니다.
llmwiki artifact write/verify 프로필이 선언한 해시 고정 파일을 관리합니다.
llmwiki connector … 자사 커넥터(예: Crossref 가져오기)를 실행합니다.

사용 시기

  • 안정적인 지식 본체(논문, 노트, 대본)를 재사용 가능하고 인용 추적 가능한 지식 베이스로 컴파일하려는 경우.
  • 에이전트가 매번 원시 파일을 재처리하지 않고도 증거 팩을 빠르게 검색해야 하는 경우.
  • 감사 가능성이 필요한 경우 – 모든 주장은 소스 라인 범위로 연결되며, 검토 큐가 품질을 강제합니다.
  • OKF 또는 표준 그래프/JSON 형식을 통해 컴파일된 위키를 다른 도구와 공유하려는 경우.
  • 도메인 특화 워크플로(연구, 뉴스룸 등)를 구축하고 시스템이 강제하는 선언적 스키마를 원하는 경우.

적합하지 않은 경우: 일반 정적 사이트 생성기, 대규모 온톨로지 저장소, 또는 빠르게 변화하는 로그에 대한 실시간 검색.

설치 및 빠른 시작

# 전역 설치(npm)
npm install -g llm-wiki-compiler

# 공급자 설정(예: Anthropic)
export ANTHROPIC_API_KEY=sk-...
# 또는 OpenAI, Ollama 등 사용

# 일회성 컴파일 및 탐색
llmwiki quickstart ./notes.md
llmwiki query "핵심 아이디어는 무엇인가?"
llmwiki view --open

quickstart 명령은 sources/ 폴더를 생성하고, 컴파일 파이프라인을 실행하며, 로컬 뷰어를 엽니다.

프로젝트 구조(초기화 후)

sources/          # 수집한 원시 파일
wiki/              # 컴파일된 마크다운 페이지(개념/, 쿼리/ 등)
.llmwiki/          # 내부 상태, profile.json, 설정, 인덱스, 후보
artifacts/         # 프로필이 선언한 해시 고정 파일
log.md             # 활동 저널

확장성

  • 프로필 – 코드를 작성하지 않고도 새 엔터티 유형, 필드, 수명주기 상태를 선언할 수 있습니다.
  • 템플릿 (autosci, newsroom) – 바로 사용 가능한 프로필을 스캐폴딩하는 서명되고 버전 관리된 번들입니다.
  • SDK (createWiki({root})) – TypeScript에서 모든 CLI 작업에 프로그래밍 방식으로 접근할 수 있습니다.
  • MCP – MCP 프로토콜을 구현하는 모든 언어에서 위키를 호출할 수 있게 하여, 자율 에이전트가 컨텍스트 팩을 수집, 쿼리, 검색할 수 있습니다.

설치 및 빠른 시작

# 전역 설치(npm)
npm install -g llm-wiki-compiler

# 공급자 설정(예: Anthropic)
export ANTHROPIC_API_KEY=sk-...
# 또는 OpenAI, Ollama 등 사용

# 일회성 컴파일 및 탐색
llmwiki quickstart ./notes.md
llmwiki query "핵심 아이디어는 무엇인가?"
llmwiki view --open

quickstart 명령은 sources/ 폴더를 생성하고, 컴파일 파이프라인을 실행하며, 로컬 뷰어를 엽니다.

프로젝트 구조(초기화 후)

sources/          # 수집한 원시 파일
wiki/              # 컴파일된 마크다운 페이지(개념/, 쿼리/ 등)
.llmwiki/          # 내부 상태, profile.json, 구성, 인덱스, 후보
artifacts/         # 프로필에 선언된 해시 고정 파일
log.md             # 활동 저널

확장성

  • 프로필 – 코드 작성 없이 새 엔터티 유형, 필드, 수명주기 상태를 선언할 수 있습니다.
  • 템플릿 (autosci, newsroom) – 바로 사용 가능한 프로필을 스캐폴딩하는 서명되고 버전 관리된 번들입니다.
  • SDK (createWiki({root})) – TypeScript에서 모든 CLI 작업에 프로그래밍 방식으로 접근할 수 있습니다.
  • MCP – MCP 프로토콜을 구현하는 모든 언어에서 위키를 호출할 수 있게 하여, 자율 에이전트가 컨텍스트 팩을 수집, 쿼리, 검색할 수 있습니다.

설치 및 빠른 시작

# 전역 설치 (npm)
npm install -g llm-wiki-compiler

# 공급자 설정 (예: Anthropic)
export ANTHROPIC_API_KEY=sk-...
# 또는 OpenAI, Ollama 등 사용

# 일회성 컴파일 및 탐색
llmwiki quickstart ./notes.md
llmwiki query "핵심 아이디어는 무엇인가?"
llmwiki view --open

quickstart 명령어는 sources/ 폴더를 생성하고, 컴파일 파이프라인을 실행하며, 로컬 뷰어를 엽니다.

프로젝트 구조(초기화 후)

sources/          # 수집한 원시 파일
wiki/              # 컴파일된 마크다운 페이지(개념/, 쿼리/ 등)
.llmwiki/          # 내부 상태, profile.json, 구성, 인덱스, 후보
artifacts/         # 프로필에 선언된 해시 고정 파일
log.md             # 활동 저널

확장성

  • 프로필 – 코드를 작성하지 않고도 새 엔터티 유형, 필드, 수명주기 상태를 선언할 수 있습니다.
  • 템플릿 (autosci, newsroom) – 바로 사용 가능한 프로필을 스캐폴딩하는 서명되고 버전이 지정된 번들입니다.
  • SDK (createWiki({root})) – TypeScript에서 모든 CLI 작업에 프로그래밍 방식으로 접근할 수 있습니다.
  • MCP – MCP 프로토콜을 구현하는 모든 언어에서 위키를 호출할 수 있게 하여, 자율 에이전트가 컨텍스트 팩을 수집, 쿼리, 검색할 수 있습니다.

사용 시기

  • 안정적인 지식 본체(논문, 노트, 대본)가 있고 이를 재사용 가능하고 인용 추적 가능한 지식 베이스로 컴파일하려는 경우.
  • 에이전트가 매번 원시 파일을 재처리하지 않고도 증거 팩을 빠르게 검색해야 하는 경우.
  • 감사 가능성이 필요한 경우 – 모든 주장은 소스 라인 범위로 연결되며, 검토 큐가 품질을 강제합니다.
  • 컴파일된 위키를 OKF 또는 표준 그래프/JSON 형식을 통해 다른 도구와 공유하려는 경우.
  • 도메인 특화 워크플로(연구, 뉴스룸 등)를 구축 중이고 시스템이 강제하는 선언적 스키마를 원하는 경우.

적합하지 않은 경우: 일반 정적 사이트 생성기, 대규모 온톨로지 저장소, 또는 빠르게 변화하는 로그에 대한 실시간 검색.

설치 및 빠른 시작

# 전역 설치 (npm)
npm install -g llm-wiki-compiler

# 공급자 설정 (예: Anthropic)
export ANTHROPIC_API_KEY=sk-...
# 또는 OpenAI, Ollama 등 사용

# 일회성 컴파일 및 탐색
llmwiki quickstart ./notes.md
llmwiki query "핵심 아이디어는 무엇인가?"
llmwiki view --open

quickstart 명령어는 sources/ 폴더를 생성하고, 컴파일 파이프라인을 실행하며, 로컬 뷰어를 엽니다.

프로젝트 구조(초기화 후)

sources/          # 수집한 원시 파일
wiki/              # 컴파일된 마크다운 페이지(개념/, 쿼리/ 등)
.llmwiki/          # 내부 상태, profile.json, 구성, 인덱스, 후보
artifacts/         # 프로필에 선언된 해시 고정 파일
log.md             # 활동 저널

확장성

  • 프로필 – 코드 작성 없이 새 엔터티 유형, 필드, 수명주기 상태를 선언할 수 있습니다.
  • 템플릿 (autosci, newsroom) – 바로 사용 가능한 프로필을 스캐폴딩하는 서명되고 버전이 지정된 번들입니다.
  • SDK (createWiki({root})) – TypeScript에서 모든 CLI 작업에 프로그래밍 방식으로 접근할 수 있습니다.
  • MCP – MCP 프로토콜을 구현하는 모든 언어에서 위키를 호출할 수 있게 하여, 자율 에이전트가 컨텍스트 팩을 수집, 쿼리, 검색할 수 있습니다.

라이선스 및 커뮤니티

  • MIT 라이선스.
  • CI 배지는 각 푸시 시 자동 테스트가 실행됨을 보여줍니다.
  • 문서는 llmwiki.atomicstrata.ai에서 호스팅됩니다.
  • 이슈 및 기능 요청은 GitHub 저장소를 통해 처리됩니다.

요약: llm-wiki-compiler는 이기종 문서를 구조화되고 인용이 풍부한 마크다운 위키로 변환하는 풀스택 도구 체인으로, 인간과 LLM 기반 에이전트 모두가 안정적으로 쿼리하고 확장할 수 있습니다.

설치 및 빠른 시작

# 전역 설치 (npm)
npm install -g llm-wiki-compiler

# 공급자 설정 (예: Anthropic)
export ANTHROPIC_API_KEY=sk-...
# 또는 OpenAI, Ollama 등 사용

# 일회성 컴파일 및 탐색
llmwiki quickstart ./notes.md
llmwiki query "핵심 아이디어는 무엇인가?"
llmwiki view --open

quickstart 명령은 sources/ 폴더를 생성하고, 컴파일 파이프라인을 실행하며, 로컬 뷰어를 엽니다.

프로젝트 구조(초기화 후)

sources/          # 수집한 원시 파일
wiki/              # 컴파일된 마크다운 페이지(개념/, 쿼리/ 등)
.llmwiki/          # 내부 상태, profile.json, 설정, 인덱스, 후보
artifacts/         # 프로필에 선언된 해시 고정 파일
log.md             # 활동 저널

확장성

  • 프로필 – 코드 작성 없이 새 엔터티 유형, 필드, 수명주기 상태를 선언할 수 있습니다.
  • 템플릿 (autosci, newsroom) – 바로 사용 가능한 프로필을 스캐폴딩하는 서명되고 버전 관리된 번들입니다.
  • SDK (createWiki({root})) – TypeScript에서 모든 CLI 작업에 프로그래밍 방식으로 접근할 수 있습니다.
  • MCP – MCP 프로토콜을 구현하는 모든 언어에서 위키를 호출할 수 있게 하여, 자율 에이전트가 컨텍스트 팩을 수집, 쿼리, 검색할 수 있습니다.

라이선스 및 커뮤니티

  • MIT 라이선스.
  • CI 배지는 각 푸시 시 자동 테스트가 실행됨을 보여줍니다.
  • 문서는 llmwiki.atomicstrata.ai에서 호스팅됩니다.
  • 이슈 및 기능 요청은 GitHub 저장소를 통해 처리됩니다.

요약: llm-wiki-compiler는 이기종 문서를 구조화되고 인용이 풍부한 마크다운 위키로 변환하는 풀스택 도구 체인으로, 인간과 LLM 기반 에이전트 모두가 안정적으로 쿼리하고 확장할 수 있습니다.

SUMMARY: llm-wiki-compiler(llmwiki)는 원시 문서를 인용 인식 마크다운 위키로 컴파일하는 오픈소스 CLI/SDK입니다. 선언적 프로필(CLP)을 강제하고, 검토 게이트를 지원하며, 하이브리드 검색을 제공하고, Open Knowledge Format으로 내보내며, 에이전트 통합을 위한 MCP 서버와 TypeScript SDK를 제공합니다.

TITLE: llm-wiki-compiler – 원시 문서를 인용 가능하고 에이전트 준비된 마크다운 위키로 컴파일

관련

  • 프로젝트
    nashsu/llm_wiki

    LLM을 사용하여 문서를 구조화되고 상호 연결된 개인 위키로 자동 변환하는 데스크톱 애플리케이션으로, 지식 그래프와 자동 심층 연구 기능을 갖추고 있습니다.

  • 프로젝트
    SamurAIGPT/llm-wiki-agent

    LLM Wiki Agent는 서버나 데이터베이스 없이 로컬에서 PDF, DOCX, 마크다운 등을 인제스트하고, 엔티티와 개념을 추출하여 성장하는 상호 연결된 마크다운 위키를 구축하며, 모순을 탐지하고 시각적 지식 그래프를 생성하는 에이전트 기반 시스템입니다.

  • 프로젝트
    lucasastorian/llmwiki

    LLM Wiki는 PDF, 노트, 슬라이드, 웹 클리핑 폴더를 자체 유지되는 개인 위키백과로 바꿔주는 오픈소스 도구입니다. Claude(MCP를 통해)는 야간 루틴으로 새 자료를 읽고 마크다운 페이지를 작성/업데이트하며, Next.js 웹 UI를 통해 성장하는 지식 기반을 탐색, 검색, 시각화할 수 있습니다.

  • 프로젝트
    ussumant/llm-wiki-compiler

    분산된 markdown 파일과 코드베이스를 종합된 주제 기반 wiki로 컴파일하여 AI 에이전트의 컨텍스트 비용을 절감하는 Claude Code 및 Codex 플러그인입니다.

  • 프로젝트
    zosmaai/pi-llm-wiki

    pi‑llm-wiki는 npm으로 배포되는 pi/oh‑my‑pi 확장 기능으로, 원시 소스에서 이식 가능한 Obsidian 호환 Markdown 위키를 구축합니다. URL, PDF 등을 캡처하고, 불변 소스 패킷을 생성하며, 이를 개념/엔터티/통합/분석 페이지로 수집하고, LLM이 인용과 함께 성장하는 지식 기반을 쿼리할 수 있게 합니다. 보관소는 계층화되어 있으며(개인 ~/.llm‑wiki, 프로젝트 /.llm‑wiki), Open Knowledge Format v0.2를 따릅니다. 내장 MCP 서버를 통해 Claude Code, Cursor, Windsurf, Zed 등 클라이언트에서 위키를 사용할 수 있습니다. 기능으로는 자동 부트스트랩, 전체 텍스트 검색, 린팅, 대시보드, 선택적 궤적 캡처, CI 기반 테스트 커버리지가 포함됩니다.