StarTrail-org/LEANN

LEANN – 小型でプライバシー重視のRAG向けベクターデータベース

概要 – LEANN（Lightweight Embedding‑Aware Nearest‑Neighbor）は、ほとんど埋め込みベクトルを保存しないオープンソースのベクター検索エンジンです。ドキュメントチャンクのグラフを構築し、クエリ到着時に埋め込みをオンザフライで再計算し、グラフを剪定することで、インデックスサイズを小さく保ちながら（従来のベクターDBと比較して約97%のストレージ削減と主張）、検索品質を維持します。

重要性 – 従来のベクターデータベースは、すべての高次元埋め込みをディスクに保存するため、数百万のテキストチャンクで数百ギガバイトに急速に膨れ上がります。LEANNのオンデマンド再計算により、クラウドコストゼロ、完全なプライバシーで、ラップトップ上でフルテキスト規模のRetrieval-Augmented Generation（RAG）パイプラインを実行できます。

主な機能

• グラフベースの選択的再計算 – 最も必要な埋め込みのみをクエリ時に再計算します。
• 高次数保存剪定 – ナビゲーショングラフを小さく保ちながら、再現率を損ないません。
• 複数のバックエンド – 高速な近似最近傍探索のためのHNSW（デフォルト）とDiskANN。
• ゼロテレメトリ、ローカルのみ – すべてのデータはマシン上に留まります。明示的にLLMプロバイダーを使用しない限り、OpenAIやクラウド呼び出しは不要です。
• MCP統合 – インデックスをModel Context Protocolサービスとして公開でき、他のツール（Claude Code、Slackボットなど）がクエリできます。
• 幅広いデータサポート – PDF、txt/md、Apple Mail、ブラウザ履歴、チャットログ（WeChat、iMessage、ChatGPT、Claude）、ライブデータストリーム、コードベース。
• プラグアンドプレイのLLMバックエンド – OpenAI互換API、Ollama、HuggingFace、Anthropicなどに対応し、生成と埋め込みに使用可能。

典型的なワークフロー

1. インストール – uv pip install leann（またはカスタムバックエンド用にソースからビルド）。
2. インデックス構築 – ドキュメントフォルダをLEANNに指定すると、テキストをチャンク化し、グラフを構築し、.leannファイルを書き出します。
3. 検索 – LeannSearcherまたはCLIを呼び出して、最も関連性の高いチャンクを取得します。
4. チャット – LeannChatとLLMでシーカーをラップし、データに対して自然言語で質問します。

from leann import LeannBuilder, LeannSearcher, LeannChat

# 1️⃣ 構築
builder = LeannBuilder(backend_name="hnsw")
for txt in ["…", "…"]:
    builder.add_text(txt)
builder.build_index("mydata.leann")

# 2️⃣ 取得
searcher = LeannSearcher("mydata.leann")
print(searcher.search("LEANNは何を節約しますか？", top_k=3))

# 3️⃣ チャット
chat = LeannChat("mydata.leann", llm_config={"type": "hf", "model": "Qwen/Qwen3-0.6B"})
print(chat.ask("LEANNはどのくらいのストレージを節約しますか？"))

パフォーマンスの主張 – READMEには、6000万テキストチャンクのインデックス作成が約6GB（従来のベクターDBでは200GB以上）を占め、RAG対応コーディングエージェントがContextBenchスイートでBM25ベースラインよりも2.1倍高い関連コード再現率を達成したというベンチマークが記載されています。

試すべき人 –

• 個人ファイル、メール、コード用にローカルでプライバシーを保護するRAGストアを求める開発者。
• クラウドベクターサービスに費用をかけずに検索戦略を実験する研究者。
• オフラインまたはオンデバイス（ラップトップやエッジデバイスなど）で実行する必要があるAIアシスタントを構築するチーム。

始め方 – リポジトリをクローンし、uv仮想環境を作成し、leannパッケージをインストールし、提供されているdemo.ipynbまたはREADMEに記載されているCLI例を実行します。OS固有の詳細なビルド手順は、Ubuntu、Arch、macOS、Windows用に含まれています。

---

上記のすべての情報はリポジトリのREADMEから直接取得したものであり、外部の主張は追加されていません。