HKUDS/RAG-Anything

解決する課題

従来のRAG (Retrieval-Augmented Generation) システムはプレーンテキストに限定されることが多く、画像、表、数式、グラフを含む複雑なドキュメントの解釈に苦労していました。RAG-Anythingは、複数の専門ツールを必要とせずに、これらの多様なマルチモーダルドキュメントタイプを処理、インデックス化、クエリするための統一されたフレームワークを提供します。

仕組み

LightRAGフレームワーク上に構築された多段階パイプラインを使用します。まず、MinerUなどのツールを使用してドキュメント（PDF、Officeファイルなど）を解析し、構造化された要素に分解します。次に、専門的なアナライザーを使用して、視覚コンテンツ、表、数式を解釈します。これらの要素は、意味的内容と階層的関係の両方をキャプチャするマルチモーダル知識グラフに格納されます。最後に、ベクトル類似性検索とグラフ走査を組み合わせたハイブリッド検索システムを使用して、ユーザーのクエリに対してコンテキストを考慮した回答を提供します。

対象ユーザー

このフレームワークは、テキスト、視覚的な図、構造化データに情報が分散している複雑な技術文書、財務報告書、または学術論文を扱う研究者、開発者、企業向けに設計されています。

ハイライト

• エンドツーエンドのマルチモーダルパイプライン: ドキュメントの取り込みと解析からインテリジェントなクエリ回答まで、すべてを処理します。
• ユニバーサルフォーマットサポート: PDF、Officeドキュメント (DOCX, PPTX, XLSX)、画像などを処理します。
• 専門的なアナライザー: 画像、表、LaTeX数式のための専用処理。
• マルチモーダル知識グラフ: エンティティとクロスモーダルな関係を自動的に抽出し、検索精度を向上させます。
• ハイブリッド検索: ベクトル検索とグラフベースの走査を組み合わせ、より優れたコンテキスト理解を実現します。