Marker-Inc-Korea/AutoRAG

What it solves

AutoRAGは、ファイルパスや一致する行のリストを提供するだけの従来の検索ツールに代わる「司書エージェント」として設計されています。ユーザーに手動でファイルを開き、文脈を読み、回答を合成させるのではなく、AutoRAGはさまざまなドキュメントコレクションを検索し、ソース資料を直接読み取り、ユーザーがすぐに活用できる構造化された番号付きの知識ユニット（回答）をキュレーションします。

How it works

AutoRAGは、単一の設定済みモデルを使用して、検索、読み取り、判断、キュレーションのループ全体を管理する特化型検索エージェント（Pi agent loopに基づく）として動作します。以下の主要なメカニズムを採用しています：

• Pluggable Retrieval: リテラルなパターンマッチング（grep）、セマンティックなベクトル検索、およびキーワードランキング（BM25）を含む複数の検索戦略をサポートしており、それらを組み合わせてハイブリッド検索を行うこともよくあります。
• Direct File Access: エージェントは組み込みの bash ツールを使用して、設定されたディレクトリからソース資料を直接開いて読み取ります。
• Self-Evolving Memory: すべての検索から学習し、どの検索方法やドキュメント領域が特定のクエリに対して最も効果的であるかを追跡し、ユーザーのフィードバックを取り入れて時間をかけて改善していきます。
• Advanced PDF Handling: デフォルトのパーサーを使用し、疎なPDFや複数ページのPDFに対してはハイブリッドバックエンド（docling-fast）にフォールバックすることで、高品質な抽出を保証します。
• Datasource Skills: 外部CLIツール（wacrawl, slacrawl, discrawl など）を介して外部データソース（例：Slack, Discord, Notion, GitHub, Gmail, Obsidian）と統合し、外部のコミュニケーションやナレッジベースを同じ検索パイプラインに持ち込むことができます。

Who it’s for

大規模で断片化されたドキュメントコレクション（PDF, wikis, notes, research papers）や外部コミュニケーションチャネル（chat apps, email, cloud drives）を管理しており、単なる検索結果のリストではなく、合成された回答を提供するシステムを必要としているユーザー。

Highlights

• Curated Answers: 生のファイルパスではなく、構造化された知識ユニットを返します。
• Self-Improving: 使用を通じて検索戦略や効果的なドキュメント領域を学習します。
• Multi-Modal Retrieval: さまざまなドキュメントタイプに合わせて、BM25, ベクトル検索, およびハイブリッド検索を組み合わせます。
• Extensive Datasource Integration: KakaoTalk, WhatsApp, Telegram, Slack, Discord, Notion, GitHub, Gmail, および rclone を介したクラウドドライブへの幅広いプラットフォーム接続をサポートします。
• Duplicate Management: インデックス作成時に正確に重複するドキュメントを検出して除外するために、dupey と統合されています。
• Optional Discovery: 最初に見つけるための発見とインデックス作成レイヤーとして、Jikji を選択的に利用できます。