netease-youdao/QAnything

解決する課題

QAnything は、ユーザーが様々なファイル形式をアップロードし、そのデータに基づいた正確で迅速な回答を受け取ることができるローカルナレッジベースの質問応答システムです。大規模なデータセットにおける検索性能の低下という問題を特異的に解決し、データが追加されても精度が安定するか向上することを保証します。

仕組み

このシステムは、大規模なデータセット全体で高い精度を維持するために2段階の検索プロセスを使用します：

1. 第1段階の検索（埋め込み）： BCEmbedding を使用してバイリンガルおよびクロスリンガルのセマンティック表現を行い、関連ドキュメントを見つけます。
2. 第2段階の検索（再ランク付け）： 単一ステージの RAG システムでよく見られるパフォーマンスの低下を防ぎ、最も関連性の高い情報が浮き彫りになるように結果を洗練させます。

QwenLM をベースにしており、プロフェッショナルなQAデータセットでファインチューニングされ、OpenAI 互換の API（Ollama を含む）を介して他の LLM との統合をサポートしています。

対象者

高いデータセキュリティ（完全オフライン使用をサポート）を必要とし、多様なファイルタイプ（PDF、Word、PPT、XLSX、Markdown など）を処理する必要があり、Windows、Mac、Linux の CPU のみの環境で実行できるハードウェアに優しいデプロイを希望するユーザーや組織向けに設計されています。

ハイライト

• 高いデータセキュリティ： 完全なオフラインでのインストールと使用をサポートします。
• クロス言語サポート： クエリとソースファイルの両方で中国語と英語の切り替えが可能です。
• 2段階の検索： 埋め込みと再ランク付けを活用し、大規模なナレッジベースで SOTA のパフォーマンスを保証します。
• 幅広いフォーマットのサポート： PDF、Word、PPT、XLSX、Markdown、電子メール、TXT、画像、CSV、および Web リンクを解析します。
• ハードウェアに優しい： デフォルトで CPU のみの動作であり、ワンクリックの Docker Compose デプロイを提供します。