atomicstrata/llm-wiki-compiler

何を解決するか

llmwiki は、未構造化データ（PDF、ノート、ウェブページ、トランスクリプトなど）を構造化された相互リンクされた Markdown ウィキに変換します。従来の RAG（Retrieval-Augmented Generation）とは異なり、クエリ時に生のチャンクを取得するのではなく、llmwiki は一度だけ知識をコンパイルし、持続可能で引用追跡可能なページを生成します。これにより、質問ごとに文書間の関係を再発見する必要がなくなります。

動作方法

このシステムは、概念の抽出と型付きページ（概念、エンティティ、比較など）の生成に二段階の LLM パイプラインを使用します。知識管理における「コンパイル時」アプローチを実装しています：

1. インジェスト：生のソースは sources/ ディレクトリに収集されます。
2. コンパイル：LLM がこれらのソースを YAML フロントマター付きの相互リンクされた Markdown ファイルに処理し、wiki/ ディレクトリに保存します。
3. ライフサイクルプロファイル：ユーザーは .llmwiki/profile.json を定義して、型付きエンティティ、関係、ワークフローを宣言し、生成された知識が特定のドメインスキーマ（例：研究や編集）に従うことを保証できます。
4. 検索：セマンティックチャンク検索、BM25 リランク、ウィキリンクグラフ拡張を組み合わせたハイブリッドアプローチを使用して、クエリの文脈を提供します。

対象ユーザー

• AIエージェント開発者：安定した、引用を意識したコンテキストパックが必要なエージェントを構築する開発者。
• 研究者・編集者：大量のドメイン固有資料を管理し、監査可能で構造化された知識ベースが必要な人。
• 知識エンジニア：持続的で累積的な知識を実現する「LLM Wiki」パターンを実装したい人。

特徴

• 引用追跡可能：すべての主張と段落が特定のソースファイルと行範囲を引用しており、組み込みのリナーやで検証されます。
• カスタマイズ可能なライフサイクルプロファイル（CLP）：エンティティスキーマと信頼ゲートを強制するドメイン固有の知識基盤の作成を可能にします。
• MCPサーバー：エージェントが wiki 機能（インジェスト、コンパイル、クエリ、評価）にアクセスできるように、MCP互換エージェントに公開します。
• オープン知識フォーマット（OKF）：ポータブルな Markdown バンドルとして知識のインポート・エクスポートをサポートします。
• 品質ゲート：評価ハーネス（llmwiki eval）とレビュー政策を含み、生成されたページを人間の承認待ちに保ちます。