The knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathy's LLM Wiki pattern.

llm-wiki-compiler (llmwiki)

它是什么 —— 一个开源 CLI/SDK，可将原始文档（Markdown、PDF、网页、图片等）转换为结构化、带引用的 Markdown 维基。该维基由 LLM 编译一次，之后代理和人类可以查询、浏览、检查、导出和复用知识，而无需重新阅读原始文件。

核心理念

编译时知识 —— 实现 Andrej Karpathy 的 LLM Wiki 模式：LLM 提取概念并生成类型化页面（概念、实体、对比、概述），一次性存储来源和引用。
可配置生命周期配置文件（CLP） —— 一个 JSON 契约（.llmwiki/profile.json）定义实体模式、关系、状态机、审查门和检索策略。编译器在运行时强制执行这些规则。
审查与信任门 —— 生成的页面可以保留供人工审查；策略在页面发布前强制执行证据、置信度和模式检查。
混合检索 —— 语义分块搜索 + BM25 重排序 + 维基链接图扩展，为查询构建紧凑的证据包。
开放知识格式（OKF） —— 将编译后的维基以带结构化前置元数据的 Markdown 形式便携导出/导入，以及 JSON/JSON-LD/GraphML/Marp。
MCP 服务器与 SDK —— 为代理提供机器控制协议（MCP）API，并提供 TypeScript SDK（createWiki）用于编程使用。

主要命令（CLI）

命令	用途
`llmwiki ingest <url-or-file>`	将源文件/URL 添加到 `sources/`。
`llmwiki quickstart <source>`	一步完成摄取 + 编译 + 打开查看器。
`llmwiki compile`	增量提取概念并生成维基页面。
`llmwiki view`	启动只读本地 Web UI，每次编译后自动刷新。
`llmwiki query "问题"`	针对编译后的维基提出有依据的问题；`--save` 将答案存储为页面。
`llmwiki lint`	验证引用、链接、新鲜度和策略合规性。
`llmwiki eval`	生成健康评分、引用覆盖率和回归指标。
`llmwiki export --target <格式>` / `import`	通过 OKF、JSON、GraphML 等交换知识。
`llmwiki serve`	运行 MCP 服务器，暴露摄取、编译、查询、检查、导出等操作。
`llmwiki template init <autosci	newsroom>`
`llmwiki profile …`	创建、显示、验证或比较 CLP 契约。
`llmwiki workflow …`	列出并运行声明的工作流步骤（例如，审查、工件创建）。
`llmwiki artifact write/verify`	管理配置文件声明的哈希固定文件。
`llmwiki connector …`	运行第一方连接器（例如 Crossref 导入）。

适用场景

你拥有稳定的知识体系（论文、笔记、转录稿），希望编译成可复用、可追溯引用的知识库。
你需要代理快速检索证据包，而无需每次重新处理原始文件。
你要求可审计性 —— 每个声明都链接到源行范围，审查队列强制执行质量。
你想通过 OKF 或标准图/JSON 格式与其他工具共享编译后的维基。
你正在构建领域特定的工作流（研究、新闻编辑室等），并希望有一个系统强制执行的声明式模式。

不适合：通用静态站点生成器、重量级本体存储，或对快速变化的日志进行实时搜索。

安装与快速开始

# 全局安装（npm）
npm install -g llm-wiki-compiler

# 设置提供商（示例：Anthropic）
export ANTHROPIC_API_KEY=sk-...
# 或使用 OpenAI、Ollama 等。

# 一次性编译并探索
llmwiki quickstart ./notes.md
llmwiki query "关键思想是什么？"
llmwiki view --open

quickstart 命令会创建 sources/ 文件夹，运行编译流水线，并打开本地查看器。

项目结构（初始化后）

sources/          # 你摄取的原始文件
wiki/              # 编译后的 Markdown 页面（concepts/、queries/ 等）
.llmwiki/          # 内部状态、profile.json、配置、索引、候选
artifacts/         # 配置文件声明的哈希固定文件
log.md             # 活动日志

可扩展性

配置文件 允许你声明新的实体类型、字段和生命周期状态，无需编写代码。
模板（autosci、newsroom）是签名、版本化的捆绑包，可搭建即用型配置文件。
SDK（createWiki({root})）提供从 TypeScript 对所有 CLI 操作的编程访问。
MCP 使维基可从任何实现 MCP 协议的语言调用，使自主代理能够摄取、查询和检索上下文包。

许可证与社区

MIT 许可。
CI 徽章显示每次推送时自动运行测试。
文档托管在 llmwiki.atomicstrata.ai。
问题和功能请求通过 GitHub 仓库处理。

简而言之：llm-wiki-compiler 是一个全栈工具链，用于将异构文档转换为结构化、引用丰富的 Markdown 维基，人类和基于 LLM 的代理都可以可靠地查询和扩展。

atomicstrata/llm-wiki-compiler