atomicstrata/llm-wiki-compiler

解決的問題

llmwiki 將原始且非結構化的資料（PDF、筆記、網頁、轉錄檔）轉換為結構化、相互連結的 Markdown 知識庫。與傳統的 RAG（檢索增強生成）不同，後者在查詢時才檢索原始片段，llmwiki 則一次性將知識編譯為持久、可追蹤引用的頁面，供 AI 代理與人類瀏覽與查詢。這避免了每次提問時都需重新發現文件間的關聯性。

作法原理

此系統採用兩階段 LLM 流程，提取概念並生成類型化頁面（如概念、實體、比較等）。實踐知識管理的「編譯時」方法：

1. 收集：原始來源被收集至 sources/ 目錄中。
2. 編譯：LLM 將這些來源處理為帶有 YAML 前置元資料的相互連結 Markdown 檔案，並儲存在 wiki/ 目錄中。
3. 生命週期設定檔：使用者可定義 .llmwiki/profile.json 來宣告類型化實體、關係與工作流程，確保生成的知識遵循特定領域架構（例如研究或編輯）。
4. 檢索：採用混合方法，結合語意分塊搜尋、BM25 重排序與維基連結圖擴展，為查詢提供上下文。

適用對象

• AI 代理開發者：需要穩定、具引用意識的上下文包，而非一堆鬆散檔案的代理建構者。
• 研究人員與編輯者：管理大量領域特定資料，需要可審計、結構化知識庫的人。
• 知識工程師：希望實踐「LLM 知識庫」模式，建構持久、累積性知識的人。

核心亮點

• 引用可追蹤性：每個主張與段落皆引用特定來源檔案與行範圍，由內建的 linter 進行驗證。
• 可配置的生命週期設定檔（CLP）：支援建立具強制實體架構與信任門檻的領域特定知識基底。
• MCP 伺服器：向 MCP 相容代理公開 wiki 的功能（收集、編譯、查詢、評估）。
• 開放知識格式（OKF）：支援以可攜式 Markdown 套件形式匯入與匯出知識。
• 品質門檻：包含評估工具（llmwiki eval）與審查政策，可將生成頁面暫存以待人工審核。