modelscope/sirchmunk

解決する課題

従来の検索システムは静的なベクトル埋め込みに依存しており、構築コストが高く、すぐに陳腐化し、元のデータのコンテキストを失うという問題がありました。Sirchmunkはベクトルデータベースや複雑な前処理パイプラインを不要にし、生のファイルに対して直接検索やチャットを行うことで、情報の損失をゼロにします。また、インデックスを常に最新の状態に保ちます。データが変化するとシステムもそれに合わせて進化するため、バッチでの再インデックスなしで洞察を最新に保つことができます。

仕組み

Sirchmunkは、LENS (Latent Evidence Navigation and Search) と呼ばれるフレームワークを使用して、生のデータから直接動作します。すべてをベクトルに変換するのではなく、語彙、エンティティ、ディレクトリ、構造、ドキュメント間トピックマップといった複数の並列ルートでエージェント型検索を実行し、信頼度加重スコアリングを使用して結果を統合します。コストを抑えるために必要な場合にのみ大規模言語モデル (LLMs) を使用し、厳格なトークン予算によって各クエリの効率を維持します。また、システムは「接続とマージ」「エッジ更新」「メタクラスター検出」「グローバル更新」という4段階のサイクルを通じて、時間の経過とともに自己進化するナレッジクラスターを構築します。これにより、検索は決定論的かつコンテキストを認識したものとなり、回答はソースの証拠に直接リンクされます。

対象ユーザー

Sirchmunkは、ベクトルインフラのオーバーヘッドなしに、大規模なローカルリポジトリやWebスケールのデータから高速かつリアルタイムな検索を必要とする開発者やAIエージェントビルダー向けに構築されています。特に、Python SDK、CLI、HTTP API、または Model Context Protocol (MCP) を介してLLMベースのアプリケーションに検索を統合するユーザーや、検索評価を研究する研究者に最適です。また、インタラクティブな探索とチャットのためのWeb UIも提供しています。

ハイライト

• EmbeddingDB不要: ベクトル埋め込みやベクトルデータベースは不要。前処理なしで生のファイルを直接検索します。
• 自己進化型ナレッジベース: インデックスとナレッジクラスターはデータ変更に応じて自動的に更新され、手動の再インデックスなしで鮮度を保ちます。
• 予算管理された証拠探索: LENSは必要な場所にのみトークンを消費することで網羅性とコストのバランスを取り、設定可能な DEEP および FAST 検索モードを備えています。
• リアルタイムかつスケーラブル: 非常に低いRAM/CPU消費量で膨大なデータセットを処理し、ネイティブなエラスティックサポートを提供します。
• エージェント対応: 完全なMCPサーバーサポート、OpenAI互換のLLM統合、ストリーミングAPI、および OpenClaw などのツールとの互換性。
• 開発者フレンドリー: Python SDK、CLIコマンド (init, search, serve, web, mcp)、Web UI、Dockerイメージ、および研究用ベンチマークフレームワークを提供。