DataScienceUIBK/Rankify

🔥 Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation 🔥. Our toolkit integrates 40 pre-retrieved benchmark datasets and supports 7+ retrieval techniques, 24+ state-of-the-art Reranking models, and multiple RAG methods.

What it solves

Rankify 提供了一个统一且模块化的 Python 工具包，用于构建与基准测试检索、重排序以及检索增强生成 (RAG) 流水线。它简化了实验不同检索器、重排序器与生成器组合的过程，减少了整合多个最先进模型与数据集的集成摩擦。

How it works

Rankify 使用模块化架构，允许用户轻松地更换组件。它提供了一个高层级的 "Pipeline API" 用于快速部署 (例如 pipeline("rag"))，并为高级用户提供更细粒度的流程。该工具包集成了多种检索技术 (包括 BM25, BGE, 和 ColBERT)，24+ 重排序模型，并集成了多个 RAG 生成器。它还包含一个 RankifyAgent 用于 AI 驱动的模型选择，并内置了一个服务器来将这些流水线部署为部署为 REST APIs。

Who it’s for

信息检索与 RAG 领域的研究人员与从业者，需要一种标准化的方式来基准测试不同模型，实验检索流水线，或将搜索与生成系统部署到生产环境中。

Highlights

  • One-Line Pipeline API: 快速地以极少的代码创建搜索、重排序或 RAG 流水线。
  • Extensive Model Support: 集成了 7 种检索技术与 24+ 最先进的重排序模型。
  • AI-Powered Selection: 包含一个对话式代理，用于根据特定用例来推荐最佳模型。
  • Benchmark Datasets: 通过 Hugging Face 提供对 40+ 预检索基准数据集的访问。
  • Production Ready: 包含用于 REST API 部署的内置服务器，并与 LangChain 和 LlamaIndex 集成。
  • Interactive UI: 提供基于 Gradio 的 Web 游乐场，用于测试与比较模型。