nashsu/llm_wiki

何を解決するか

LLM Wikiは、断片化されたドキュメントを自動的に構造化され、相互にリンクされた個人用知識ベースに変換します。従来のRAGシステムがリアルタイムで情報を取得するのに対し、このシステムは段階的に構築・維持される永続的なウィキを提供し、知識を一度だけコンパイルして最新の状態を保つことで、各クエリごとに再計算する必要がありません。

動作方法

システムは3層アーキテクチャに従います：Raw Sources（不変） → Wiki（LLM生成） → Schema（ルールと設定）。2段階のChain-of-Thoughtインジェストプロセスを使用し、最初にLLMがソースを分析してエンティティと関係を特定し、次にソースの追跡可能性を保ちながら実際のウィキページを生成します。

主な技術的要素は以下の通りです：

• 知識グラフ：直接リンク、ソースの重複、コミュニティ検出（Louvainアルゴリズム）を用いた関連性モデルで、知識クラスタを可視化・発見します。
• 検索パイプライン：トークン検索、オプションのベクトル意味検索（LanceDB経由）、グラフ拡張を組み合わせた多段階プロセスで、LLMに文脈を提供します。
• エージェントバックエンド：ツールを使用してウィキ/ウェブ検索、ファイル生成、承認されたシェルコマンドの実行が可能なRustベースのチャットエージェント。
• ディープリサーチ：知識のギャップを自動的に特定し、ウェブ検索（Tavily、SerpApi、SearXNG）を活用して新しい情報をウィキに統合する自動化パイプライン。

対象ユーザー

大規模なドキュメントを管理し、ノートを自動的に整理し、アイデア間の驚くべき関係性を発見し、長期的に構造化された知識ベースを維持したい研究者、学生、専門家向けに設計されています。

特徴

• 2段階インジェスト：分析と生成を分離することで、ウィキの品質とソースの追跡可能性を向上。
• 知識グラフのインサイト：「驚くべき関係性」、孤立ページ、知識のギャップを自動検出。
• ディープリサーチ：LLM最適化されたウェブ検索で、検索結果を自動的にウィキに取り込み。
• Obsidian互換性：生成されたウィキディレクトリはObsidianバールトとして機能。
• マルチモーダル対応：PDFから画像を抽出し、視覚LLMを使用して事実に基づいたキャプションを生成。
• エージェントスキル：ローカルの SKILL.md ファイルをサポートし、エージェントの機能を拡張可能。