atomicstrata/llm-wiki-compiler

The knowledge compiler. Raw sources in, interlinked wiki out. Inspired by Karpathy's LLM Wiki pattern.

llm-wiki-compiler (llmwiki)

概要 – オープンソースのCLI/SDKで、生のドキュメント（Markdown、PDF、Webページ、画像など）を、引用情報を備えた構造化マークダウンwikiに変換します。wikiはLLMによって一度コンパイルされ、その後エージェントや人間は、元のファイルを再読込することなく、クエリ、閲覧、lint、エクスポート、再利用が可能です。

核となるアイデア

  • コンパイル時知識 – Andrej KarpathyのLLM Wikiパターンを実装：LLMが概念を抽出し、型付きページ（概念、エンティティ、比較、概要）を一度生成し、出典と引用を保存します。
  • 設定可能なライフサイクルプロファイル（CLP） – JSONコントラクト（.llmwiki/profile.json）が、エンティティスキーマ、関係、状態機械、レビューゲート、取得ポリシーを定義します。コンパイラは実行時にこれらのルールを強制します。
  • レビューと信頼ゲート – 生成されたページは人間のレビュー待ちにできます。ポリシーは、ページが公開される前に、証拠、信頼性、スキーマチェックを強制します。
  • ハイブリッド検索 – セマンティックチャンク検索 + BM25再ランキング + wikilinkグラフ展開により、クエリ用のコンパクトな証拠パックを構築します。
  • オープン知識フォーマット（OKF） – 構造化フロントマター付きマークダウンとしてのコンパイル済みwikiのポータブルなエクスポート/インポートに加え、JSON/JSON-LD/GraphML/Marpに対応。
  • MCPサーバーとSDK – エージェント向けのMachine-Control-Protocol（MCP）APIと、プログラム利用のためのTypeScript SDK（createWiki）を提供。

主なコマンド（CLI）

コマンド 目的
llmwiki ingest <url-or-file> ソースファイル/URLを sources/に追加。
llmwiki quickstart <source> ワンステップでインジェスト+コンパイル+ビューアを開く。
llmwiki compile 概念をインクリメンタルに抽出し、wikiページを生成。
llmwiki view 読み取り専用のローカルWeb UIを起動し、コンパイルごとに更新。
llmwiki query "質問" コンパイル済みwikiに対して根拠付きの質問を実行。--saveで回答をページとして保存。
llmwiki lint 引用、リンク、鮮度、ポリシー準拠を検証。
llmwiki eval 健全性スコア、引用カバレッジ、回帰メトリクスを生成。
llmwiki export --target <format> / import OKF、JSON、GraphMLなどを介して知識を交換。
llmwiki serve ingest、compile、query、lint、exportなどを公開するMCPサーバーを実行。
`llmwiki template init <autosci newsroom>`
llmwiki profile … CLPコントラクトの作成、表示、検証、差分を実行。
llmwiki workflow … 宣言されたワークフローステップ（例：レビュー、アーティファクト作成）を一覧表示・実行。
llmwiki artifact write/verify プロファイルで宣言されたハッシュ固定ファイルを管理。
llmwiki connector … ファーストパーティコネクタ（例：Crossrefインポート）を実行。

使用するタイミング

  • 安定した知識体系（論文、ノート、トランスクリプト）があり、それを再利用可能で引用追跡可能な知識ベースにコンパイルしたい場合。
  • エージェントが、毎回生ファイルを再処理することなく、迅速に証拠パックを取得する必要がある場合。
  • 監査可能性が求められる場合 – すべての主張がソースの行範囲にリンクされ、レビューキューが品質を強制します。
  • コンパイル済みwikiをOKFや標準のグラフ/JSON形式で他のツールと共有したい場合。
  • ドメイン固有のワークフロー（研究、ニュースルームなど）を構築しており、システムが強制する宣言的スキーマが必要な場合。

不向き: 汎用の静的サイトジェネレーター、重厚なオントロジーストア、急速に変化するログのライブ検索。

インストールとクイックスタート

# グローバルインストール（npm）
npm install -g llm-wiki-compiler

# プロバイダー設定（例：Anthropic）
export ANTHROPIC_API_KEY=sk-...
# またはOpenAI、Ollamaなどを使用

# ワンショットのコンパイルと探索
llmwiki quickstart ./notes.md
llmwiki query "what are the key ideas?"
llmwiki view --open

quickstartコマンドは sources/フォルダを作成し、コンパイルパイプラインを実行し、ローカルビューアを開きます。

プロジェクト構成（初期化後）

sources/          # 取り込む生ファイル
wiki/              # コンパイル済みマークダウンページ（concepts/、queries/など）
.llmwiki/          # 内部状態、profile.json、設定、インデックス、候補
artifacts/         # プロファイルで宣言されたハッシュ固定ファイル
log.md             # アクティビティジャーナル

拡張性

  • プロファイル – コードを書かずに、新しいエンティティタイプ、フィールド、ライフサイクル状態を宣言できます。
  • テンプレート（autosci、newsroom）– 署名付き・バージョン管理されたバンドルで、すぐ使えるプロファイルをスキャフォールドします。
  • SDK（createWiki({root})）– TypeScriptからすべてのCLI操作へのプログラムアクセスを提供します。
  • MCP – MCPプロトコルを実装する任意の言語からwikiを呼び出し可能にし、自律エージェントがインジェスト、クエリ、コンテキストパックの取得を行えるようにします。

ライセンスとコミュニティ

  • MITライセンス。
  • CIバッジは、各プッシュで自動テストが実行されることを示します。
  • ドキュメントはllmwiki.atomicstrata.aiでホストされています。
  • 問題や機能リクエストはGitHubリポジトリ経由で対応します。

一言で言えば: llm-wiki-compilerは、異種ドキュメントを、人間とLLMベースのエージェントの両方が確実にクエリ・拡張できる、構造化された引用豊富なマークダウンwikiに変換するためのフルスタックツールチェーンです。

インストールとクイックスタート

# グローバルインストール（npm）
npm install -g llm-wiki-compiler

# プロバイダー設定（例：Anthropic）
export ANTHROPIC_API_KEY=sk-...
# または OpenAI、Ollama なども利用可能

# ワンショットのコンパイルと探索
llmwiki quickstart ./notes.md
llmwiki query "what are the key ideas?"
llmwiki view --open

quickstartコマンドは sources/フォルダを作成し、コンパイルパイプラインを実行し、ローカルビューアを開きます。

プロジェクト構成（初期化後）

sources/          # 取り込む生ファイル
wiki/              # コンパイル済みマークダウンページ（concepts/、queries/ など）
.llmwiki/          # 内部状態、profile.json、設定、インデックス、候補
artifacts/         # プロファイルで宣言されたハッシュ固定ファイル
log.md             # アクティビティジャーナル

拡張性

  • プロファイル – コードを書かずに、新しいエンティティタイプ、フィールド、ライフサイクル状態を宣言できます。
  • テンプレート（autosci、newsroom）– 署名付き・バージョン管理されたバンドルで、すぐ使えるプロファイルをスキャフォールドします。
  • SDK（createWiki({root})）– TypeScriptからすべてのCLI操作へのプログラムアクセスを提供します。
  • MCP – MCPプロトコルを実装する任意の言語からwikiを呼び出し可能にし、自律エージェントがコンテキストパックをインジェスト、クエリ、取得できるようにします。

ライセンスとコミュニティ

  • MITライセンス。
  • CIバッジは、各プッシュで自動テストが実行されることを示します。
  • ドキュメントはllmwiki.atomicstrata.aiでホストされています。
  • 問題や機能リクエストはGitHubリポジトリで対応しています。

一言で言えば: llm-wiki-compilerは、異種ドキュメントを、人間とLLMベースのエージェントの両方が確実にクエリ・拡張できる、構造化された引用豊富なマークダウンwikiに変換するフルスタックツールチェーンです。

インストールとクイックスタート

# グローバルインストール（npm）
npm install -g llm-wiki-compiler

# プロバイダー設定（例：Anthropic）
export ANTHROPIC_API_KEY=sk-...
# または OpenAI、Ollama なども利用可能

# ワンショットのコンパイルと探索
llmwiki quickstart ./notes.md
llmwiki query "what are the key ideas?"
llmwiki view --open

quickstartコマンドは sources/フォルダを作成し、コンパイルパイプラインを実行し、ローカルビューアを開きます。

プロジェクト構成（初期化後）

sources/          # 取り込む生ファイル
wiki/              # コンパイル済みマークダウンページ（concepts/、queries/ など）
.llmwiki/          # 内部状態、profile.json、設定、インデックス、候補
artifacts/         # プロファイルで宣言されたハッシュ固定ファイル
log.md             # アクティビティジャーナル

拡張性

  • プロファイル – コードを書かずに、新しいエンティティタイプ、フィールド、ライフサイクル状態を宣言できます。
  • テンプレート（autosci、newsroom）– 署名付きのバージョン管理されたバンドルで、すぐ使えるプロファイルをスキャフォールドします。
  • SDK（createWiki({root})）– TypeScriptからすべてのCLI操作へのプログラムアクセスを提供します。
  • MCP – MCPプロトコルを実装する任意の言語からwikiを呼び出し可能にし、自律エージェントがインジェスト、クエリ、コンテキストパックの取得を行えるようにします。

ライセンスとコミュニティ

  • MITライセンス。
  • CIバッジは、各プッシュで自動テストが実行されることを示します。
  • ドキュメントは llmwiki.atomicstrata.ai でホストされています。
  • 問題や機能リクエストは、GitHubリポジトリ経由で対応します。

一言で言えば: llm-wiki-compilerは、異種ドキュメントを、人間とLLMベースのエージェントの両方が確実にクエリ・拡張できる、構造化された引用豊富なマークダウンwikiに変換するためのフルスタックツールチェーンです。

インストールとクイックスタート

# グローバルインストール（npm）
npm install -g llm-wiki-compiler

# プロバイダー設定（例：Anthropic）
export ANTHROPIC_API_KEY=sk-...
# または OpenAI、Ollama なども利用可能

# ワンショットのコンパイルと探索
llmwiki quickstart ./notes.md
llmwiki query "what are the key ideas?"
llmwiki view --open

quickstartコマンドは sources/フォルダを作成し、コンパイルパイプラインを実行し、ローカルビューアを開きます。

プロジェクト構成（初期化後）

sources/          # 取り込む生ファイル
wiki/              # コンパイル済みマークダウンページ（concepts/、queries/ など）
.llmwiki/          # 内部状態、profile.json、設定、インデックス、候補
artifacts/         # プロファイルで宣言されたハッシュ固定ファイル
log.md             # アクティビティジャーナル

拡張性

  • プロファイル – コードを書かずに、新しいエンティティタイプ、フィールド、ライフサイクル状態を宣言できます。
  • テンプレート（autosci、newsroom）– 署名付き・バージョン管理されたバンドルで、すぐ使えるプロファイルをスキャフォールドします。
  • SDK（createWiki({root})）– TypeScriptからすべてのCLI操作へのプログラムアクセスを提供します。
  • MCP – MCPプロトコルを実装する任意の言語からwikiを呼び出し可能にし、自律エージェントがコンテキストパックをインジェスト、クエリ、取得できるようにします。

ライセンスとコミュニティ

  • MITライセンス。
  • CIバッジは、各プッシュで自動テストが実行されることを示します。
  • ドキュメントはllmwiki.atomicstrata.aiでホストされています。
  • 問題や機能リクエストはGitHubリポジトリで対応しています。

一言で言えば: llm-wiki-compilerは、異種ドキュメントを、人間とLLMベースのエージェントの両方が確実にクエリ・拡張できる、構造化された引用豊富なマークダウンwikiに変換するためのフルスタックツールチェーンです。

関連

  • プロジェクト
    nashsu/llm_wiki

    LLMを使用して、断片化されたドキュメントを構造化され、相互にリンクされた個人用ウィキに自動変換するデスクトップアプリケーション。知識グラフと自動的なディープリサーチ機能を備えています。

  • プロジェクト
    SamurAIGPT/llm-wiki-agent

    LLM Wiki Agent は、サーバーやデータベースを必要とせず、PDF、DOCX、マークダウンなどをローカルでインジェストし、エンティティとコンセプトを抽出して、成長し続ける相互リンクされたマークダウンウィキを構築し、矛盾を検出し、視覚的な知識グラフを生成するエージェント駆動のシステムです。

  • プロジェクト
    lucasastorian/llmwiki

    LLM Wiki は、PDF、ノート、スライド、Webクリップのフォルダを、自己維持型の個人Wikipediaに変えるオープンソースツールです。Claude（MCP経由）が毎晩のルーチンで新しい資料を読み取り、Markdownページを作成・更新します。Next.jsのWeb UIでは、成長する知識ベースを閲覧、検索、視覚化できます。

  • プロジェクト
    ussumant/llm-wiki-compiler

    散在するmarkdownファイルやコードベースを統合されたトピックベースのwikiにコンパイルし、AIエージェントのコンテキストコストを削減するClaude CodeおよびCodexプラグイン。

  • プロジェクト
    zosmaai/pi-llm-wiki

    pi‑llm-wikiは、npmで配布されるpi/oh‑my‑pi拡張機能で、生のソースからポータブルなObsidian互換のMarkdown Wikiを構築します。URL、PDFなどをキャプチャし、不変のソースパケットを作成し、それらを概念/エンティティ/統合/分析ページに取り込み、LLMが引用付きで成長するナレッジベースをクエリできるようにします。保管庫は階層化され(個人の~/.llm‑wiki、プロジェクトの/.llm‑wiki)、Open Knowledge Format v0.2に従います。組み込みのMCPサーバーにより、WikiをClaude Code、Cursor、Windsurf、Zedなどのクライアントから利用できます。機能には、自動ブートストラップ、全文検索、リンティング、ダッシュボード、オプションのトレースキャプチャ、CIによるテストカバレッジが含まれます。