terrier-org/pyterrier

A Python framework for performing information retrieval experiments, building on http://terrier.org/

解决的问题

PyTerrier 提供了一个统一的框架，用于构建和测试信息检索（IR）管道。它简化了创建复杂搜索系统的过程——结合不同的索引和检索方法——并允许研究人员和开发者使用标准数据集和评估指标，严格比较其有效性。

工作原理

PyTerrier 采用“转换器”架构，检索组件（如 BM25 或神经网络重排序器）可以通过管道操作符串联起来。这使得用户可以构建复杂的流程，例如从快速的稀疏检索器开始，再用神经网络重排序器优化结果。它还与 ir_datasets 包集成，可轻松获取标准基准用于实验。

适用人群

专为从事搜索引擎、检索增强生成（RAG）系统和信息检索实验的研究人员和开发者设计。

主要亮点

  • 灵活的管道：使用声明式方法构建稀疏、学习型稀疏或密集检索管道。
  • 实验框架：内置 pt.Experiment 函数，可使用 nDCG 和 AP 等指标比较多个管道。
  • 丰富的生态系统：支持多种插件，涵盖密集检索（ColBERT）、神经网络重排序（MonoT5）和 RAG。
  • 标准数据集集成：无缝接入庞大的 IR 数据集目录，用于基准测试。

相关

  • 项目
    DataScienceUIBK/Rankify

    一个用于检索、重排序与 RAG 的全面 Python 工具包，提供统一的接口来实验与部署最先进的模型。

  • 项目
    castorini/pyserini

    Pyserini is a Python toolkit that wraps the Anserini Lucene search engine and FAISS to provide easy, reproducible first‑stage retrieval (sparse, dense, or hybrid) for information‑retrieval research and RAG pipelines. It includes pre‑built indexes, evaluation scripts, and a REST server, and can be installed via `pip`.

  • 项目
    weiwill88/Local_Pdf_Chat_RAG

    一个模块化的 Python 参考实现，用于学习和实验文档解析、混合检索和 LLM 生成。

  • 项目
    alibaba/RecIS

    一个用于超大规模推荐系统的统一深度学习框架，在 PyTorch 生态系统中优化稀疏和密集计算。

  • 项目
    NovaSearch-Team/RAG-Retrieval

    一个用于训练、微调和蒸馏 RAG 检索模型，包括嵌入模型、后期交互模型和重排序器。