PromtEngineer/localGPT

何を解決するか

LocalGPT は、ユーザーが自分のファイルに対してクエリを実行し、要約やインサイトを抽出できるプライベートでオンプレミスのドキュメントインテリジェンスプラットフォームです。データはすべてローカルマシンから離れることなく処理されます。クラウドベースのAIに伴うプライバシー懸念を解消するため、完全にローカルな RAG（リトリーバル・オーガナイズド・ジェネレーション）システムを提供します。

動作方法

LocalGPT は、複数の高度なリトリーブ技術を組み合わせたモジュールアーキテクチャを採用し、高品質な回答を保証します。

• ハイブリッド検索: 密度ベクトル検索とフルテキスト検索を、Reciprocal Rank Fusion (RRF) を用いて統合します。
• スマートルーティング: クエリが RAG（ドキュメントの取得）を必要とするか、LLM が直接回答できるかをルーターが判断します。
• クエリ分解: 複雑な質問は、サブクエリに分割され、取得された結果を統合して最終的な回答を生成します。
• リランキング: クロスエンコーダーによるリランキングにより、候補セットを精査し、最も関連性の高いコンテンツを浮き彫りにします。
• ドキュメント処理: PDF、DOCX、HTML、Markdown、TXT ファイルの解析に Docling を使用し、テキストのない PDF には OCR フォールバックを提供します。
• ローカルモデル実行: Ollama と連携して生成およびユーティリティモデルを実行し、HuggingFace で埋め込みモデルとリランキングモデルを活用します。

対象ユーザー

プライベートなドキュメントと AI を使ってやり取りしたいが、100% のデータセキュリティとプライバシーを維持したい個人や組織向けに設計されています。

特徴

• 最高のプライバシー: 100% オンプレミス実行。データは決してマシンから離れません。
• 高度なリトリーブ: ハイブリッド検索、調整済みリランキング、オプションのラテ・チャンキングおよびセンテンスプルーニングを備えています。
• 多様なモデル対応: Ollama を通じて生成モデルを簡単に切り替えられ、HuggingFace から埋め込みモデルを活用できます。
• 開発者向け: バックエンドおよび RAG コア用に RESTful API を提供し、カスタムアプリケーションの構築が可能です。
• モダンなインターフェース: インデックスとセッション管理用のレスポンシブな Web UI を備え、リトリーブプロセスのライブストリーミングをサポートしています。