skygazer42/MimirQ

何を解決するか

MimirQ は企業向け RAG（Retrieval-Augmented Generation）を想定しており、単にドキュメントをベクトル化するのではなく、エラーの特定、戦略の交換可能性、品質のレグレッションテストを確保することが主な課題です。単純な RAG パイプラインの「ブラックボックス」問題に対処し、パース、クリーニング、チャンク化、リトリーブまで、すべてのステップを検査・監査・バージョン管理できる制御可能な知識パイプラインを提供します。

動作方法

このシステムは構造化された知識パイプラインを実装しています：データ評価 → シナリオベースのパース → クリーニング／ガバナンス → ビジネスチャンク化 → インデキシング → ハイブリッドリトリーブ → リランキング → ゴールデンレグレッション。

ドキュメントの種類やビジネスニーズに応じて、多数のモジュール型コンポーネントを交換可能にサポートしています：

• パース：DeepDoc、Docling、MinerU、Marker など 30 以上のバックエンドをサポート。
• チャンク化：86 種類の異なる戦略（セマンティック、再帰的、親子、RAPTOR など）をサポートし、ビジュアルプレビューも可能。
• リトリーブ：Milvus、FAISS、Chroma と BM25、SPLADE、ColBERT を組み合わせたハイブリッド検索を実現。
• 評価：「ゴールデンデータセット」アプローチによるレグレッションテスト。Recall や MRR などのメトリクスを使用して、バージョン間での品質低下を防止。
• 統合：スタンドアロンシステムとして動作可能であり、Dify の External Knowledge API を介して専用の RAG レイヤーとしても利用可能。

対象ユーザー

政府サービスなど、プロフェッショナルな知識ベースを提供するチームで、高い精度、厳格な監査ログ、デプロイ前の厳密な品質保証が求められる方々に最適です。

特徴

• 極めてモジュール性が高い：パイプライン全体を再構築せずに、数十種類のパーサー、チャンク化戦略、リランカーを切り替え可能。
• 可視性（Observability）：チャンク、リトリーブトレース、リランキングプロセスを視覚的に確認できるツールを提供。
• 企業向けガバナンス：ドキュメントレベルの ACL（アクセス制御リスト）、セキュリティトリミング、SAML SSO をサポート。
• レグレッションテスト：更新時に品質低下を防ぐための「ゴールデン」クエスチョンセットを内蔵。
• Dify 互換性：Dify の External Knowledge API にネイティブ対応。Dify ワークフローの高精度リトリーブエンジンとして活用可能。