onyx-dot-app/EnterpriseRAG-Bench

Dataset and benchmark for RAG on company internal documents.

What it solves

ほとんどの Retrieval Augmented Generation (RAG) ベンチマークは Wikipedia や Stack Overflow といった公開データに依存しています。このプロジェクトは、企業内部の知識をシミュレートすることを目的とした、現実的で大規模なデータセットを提供します。開発者は、実際のエンタープライズ環境で見られる、乱雑で断片的、かつ専門用語が多いデータに対して RAG システムをベンチマークし、エージェントをファインチューニングできます。

How it works

プロジェクトは「Redwood Inference」という架空の会社を中心に構成されています。Slack、Gmail、Google Drive、Jira、Confluence など、9 つの一般的なエンタープライズソースにまたがる 500,000 件以上の文書コーパスを提供します。現実味を持たせるために、データセットには以下が組み込まれています。

  • Cross-document coherence: 文書は会社のイニシアチブや従業員ディレクトリという共通基盤を共有しています。
  • Realistic noise: 古い情報、誤って保存された文書、矛盾する事実が含まれます。
  • Internal terminology: プロジェクトコードネームや社内固有の略語が使用されています。
  • Diverse Question Set: 難易度とタイプ別に分類された 500 の質問があり、単純な事実検索から複数文書に跨る高度な推論、矛盾情報への対処までカバーしています。

Who it’s for

エンタープライズ向けに RAG システムや AI エージェントを構築する AI エンジニアや研究者で、社内データに対する検索精度と推論能力を高忠実度でテストしたい方々向けです。

Highlights

  • Massive Scale: 500,000 件以上の文書で企業全体のエコシステムをシミュレート。
  • Multi-Source Simulation: CRM（Hubspot）やプロジェクト管理（Linear）、会議文字起こし（Fireflies）など、多様なツールを網羅。
  • Complex Evaluation: 矛盾情報、文書内推論、"info not found" シナリオ向けの具体的テストケースを含む。
  • Dataset Generator: 異なる業界や企業規模向けに類似の合成データセットを生成するコードを提供。