axoviq-ai/synthadoc

Synthadoc: An open-source LLM knowledge compilation engine that turns raw documents into structured, local-first wikis. A transparent, human-readable alternative to traditional RAG, which can be self-managed and self-improved without the use of any tools.

何を解決するか

Synthadocは、従来のRetrieval-Augmented Generation (RAG)システムの限界に対処します。RAGシステムは通常、クエリ時にドキュメントのチャンクを要約しますが、Synthadocはインジェスト時(取り込み時)に知識を合成し、生のソースドキュメントを構造化された永続的なWikiに変換します。このアプローチにより、矛盾が静かに混ざり合うことを防ぎ、主張が特定のソースに追跡可能になるだけでなく、ツールに依存しない永続的な知識資産を生成します。

動作方法

Synthadocは、PDF、スプレッドシート、PPT、ウェブページ、画像、動画、Wordファイル、TXT、AIセッショントランスクリプトなど、さまざまなソース形式を読み取り、LLMを使用してローカルなMarkdownベースのWikiに合成します。自動的に[[wikilinks]]を使用してクロスリファレンスを構築し、5段階のライフサイクルマシン(draftactivecontradicted/stalearchived)でページのステータスを管理します。システムには、過剰な主張を検出するための敵対的2番目のLLMプロセスと、孤立ページや破損した引用を検出するLintプロセスが含まれます。

対象ユーザー

  • 個人研究者やインディーハッカー:無料またはローカルLLMモデルを使用して個人用の研究Wikiが必要な人。
  • 小規模チーム:矛盾を自動的に解決し、組織の成長に合わせてスケーラブルな中央集権的な内部知識ベースを必要とする人。
  • 企業:コンプライアンスに敏感なローカルファーストの知識ベースを必要とし、監査トレールとCI/CD統合(フック経由)を備えた人。

特徴

  • インジェスト時合成:クエリ時に再要約するのではなく、インジェスト時にソースをWikiにコンパイル。
  • 矛盾検出:衝突する主張をstatus: contradictedとしてマークし、人間によるレビューまたは自動解決を可能にする。
  • 主張レベルの出典:各主張に^[file:L-L]形式のインライン引用を提供し、元のソース行にリンクする。
  • ローカルファーストアーキテクチャ:データをプレーンなMarkdownファイルとして保存し、ベンダーロックインを回避し、Obsidianなどのツールと互換性を持つ。
  • 知識グラフの可視化:Louvainクラスタリングを使用して重み付き知識グラフを生成し、ページ間の関係を視覚化する。
  • 敵対的レビュー:2番目のLLMプロセスを使用して、根拠のない最高級表現や議論の余地のある事実を検出する。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト