Marker-Inc-Korea/AutoRAG

AutoRAG Agent – ファイルのためのローカル「図書館員」

概要 – AutoRAG Agent は、TypeScript/Node ライブラリ（@autorag/librarian として公開）で、コンピュータを検索可能なナレッジベースに変えます。ローカルで小型の LLM 駆動「図書館員」を実行し、マシン上のファイル（PDF、Word、HWP、画像、コードなど）の内容を読み取り、軽量なインデックスを作成し、元のドキュメントを指す引用付きで自然言語の質問に回答します。

重要性 – 従来の RAG（検索拡張生成）パイプラインでは、データをリモートのベクターストアにアップロードし、埋め込みを管理し、別の検索サービスを維持する必要があります。AutoRAG はそれらをすべて省略します。データをその場で統合し、BM25 とベクターインデックスを即座に構築し、すべてをデバイス上でプライベートに保ちます。その結果、デスクトップ UI、ターミナル UI、CLI スクリプト、または独自の TypeScript コードに埋め込んで使用できる、高速でテレメトリなしの「すぐ使える」RAG エクスペリエンスが得られます。

主な機能

• デスクトップアプリ（Electron + React）– フォルダの参照、質問、番号付き引用付きの回答の表示、多くのファイルタイプ（PDF、Office、HWP、画像、ビデオ、オーディオ）のプレビュー。
• マルチソース検索 – Slack、Discord、Telegram、WhatsApp、Gmail、GitHub、Obsidian、および任意のローカルフォルダ。
• ハイブリッド検索 – 高速な BM25 語彙ランキング、密ベクター検索（バンドルされた qwen3-embedding-0.6b モデルを使用）、およびリランカー（デフォルトで OpenRouter の voyageai/rerank-3-lite）を組み合わせます。
• ローカル埋め込みモデル – qwen3-embedding-0.6b モデルをデバイス上で実行。基本的なインデックス作成に外部 API キーは不要です。
• プライバシーバイデザイン – すべてのドキュメント解析と埋め込みはローカルで行われます。API キーは OS 暗号化された資格情報ストアに保存されます。
• プラグ可能な「データソーススキル」 – 各外部サービスは、検索可能なチャンクを返す小さなプラグインを介してアクセスされるため、同じ図書館員がファイルとチャット履歴にまたがる質問に回答できます。
• インクリメンタル CDC インデックス – 組み込みの MinSync コンポーネントがフォルダを監視し、アプリが閉じていても BM25/ベクターチャンクを継続的に更新します。
• ファイル名検索 – Windows ではポータブルな Everything エンジンをバンドル。macOS/Linux では fsearch-cli を使用してサブ秒の名前検索が可能。
• CLI と TUI – autorag は、初期化、インデックス作成、ヘルスチェック、検索実行（autorag search …）のコマンドを提供します。対話型 TUI（autorag tui）では、検索をリアルタイムで操作、修正、停止できます。
• プログラム API – 任意の Node/TS プロジェクトで @autorag/librarian をインポートし、コードから同じ検索関数を呼び出します。

仕組み

1. 初期化 – autorag init は、1 つ以上の「検索パス」を指す設定を作成し、OCR/解析の言語を選択します。
2. 解析とインデックス作成 – ドキュメントは kordoc ライブラリで解析されます（Java 不要）。オプションの OCR は、韓国語/英語用の組み込み PP-OCRv5 モデル、または他の言語用の Tesseract を使用します。解析されたテキストはチャンク化され、BM25 用語が保存され、ローカル埋め込みモデルを介して密ベクターが生成されます。
3. 検索 – 質問すると、エージェントは 2 段階のプロセスを実行します。(a) 有効なすべてのメソッドにわたる高速な語彙/意味検索、(b) エージェントが cat、grep などで上位ランクのファイルを開いて証拠を確認する検証ステップ。
4. キュレーション – LLM が平易な回答を生成します。フレームワークはインライン引用マーカー（[eN]）を、ファイルパス、ページ番号、または行範囲を含む番号付き参照に置き換えます。引用された証拠は、将来のクエリのために ~/.autorag/memory.json に保存されます。
5. エージェントホスト – AutoRAG は Pi エージェントフレームワーク上で実行され、モデル資格情報、セッション永続化、および対話型ターミナル UI を処理します。AutoRAG は検索とキュレーションのロジックのみを提供します。

インストール

# グローバル CLI インストール（Node ≥24 または Bun ≥1.2）
bun install -g @autorag/librarian   # または npm install -g @autorag/librarian

パッケージは初回実行時に必要なバイナリ（Windows の Everything、MinSync など）を取得します。

典型的なワークフロー

# 1️⃣ 検索可能にしたいフォルダを設定
autorag init --search-paths ~/Documents/research

# 2️⃣ インデックスを構築（PDF、markdown、Office ファイルなどを解析）
autorag refresh

# 3️⃣ CLI または TUI から質問
autorag search "Q3 クラウド契約の主な変更点は何ですか？"
# または
autorag tui   # 次にクエリを対話的に入力

回答は次のような引用付きで返されます。

[1] エンタープライズコンピューティング割引 — AWS 年間割引ティアが 28% に増加（contracts/cloud-2026.pdf:p.4）
[2] 地域データ居住性 — データをソウルに固定するコンプライアンス条項（slack/legal-ops#318）

対象ユーザー – ラップトップで個人用の「何でも検索エンジン」を必要とするナレッジワーカー、ローカルドキュメント理解を必要とする AI 拡張ツールを構築する開発者、またはベクターデータベースを管理せずにプライバシーを保護する RAG レイヤーを望むチーム。

---

リンク

• ライブラリ：@autorag/librarian（npm）
• デスクトップ UI リポジトリ：NomaDamas/AutoRAG-app
• レガシー Python AutoRAG（保守継続中）は legacy/ フォルダにあります。