terrier-org/pyterrier

A Python framework for performing information retrieval experiments, building on http://terrier.org/

解決的問題

PyTerrier 提供一個統一的框架，用於建構與測試資訊檢索（IR）管道。它簡化了建立複雜搜尋系統的過程——結合不同的索引與檢索方法——並讓研究人員與開發者能使用標準資料集與評估指標，嚴謹比較其有效性。

運作方式

PyTerrier 採用「轉換器」架構，檢索元件（如 BM25 或神經網路重排序器）可透過管道運算子串接起來。這讓使用者能建構複雜的工作流程，例如從快速的稀疏檢索器開始，再以神經網路重排序器精細化結果。它也與 ir_datasets 套件整合，可輕鬆取得標準基準用於實驗。

適用對象

專為從事搜尋引擎、檢索增強生成（RAG）系統與資訊檢索實驗的研究人員與開發者設計。

主要特色

  • 彈性管道：使用宣告式方法建構稀疏、學習型稀疏或密集檢索管道。
  • 實驗框架：內建 pt.Experiment 函數，可使用 nDCG 與 AP 等指標比較多個管道。
  • 廣泛生態系：支援多種插件，涵蓋密集檢索（ColBERT）、神經網路重排序（MonoT5）與 RAG。
  • 標準資料集整合：無縫存取龐大的 IR 資料集目錄，用於基準測試。

相關

  • 專案
    DataScienceUIBK/Rankify

    一個用於檢索、重排序與 RAG 的全面 Python 工具包，提供統一的介面來實驗與部署最先進的模型。

  • 專案
    castorini/pyserini

    Pyserini is a Python toolkit that wraps the Anserini Lucene search engine and FAISS to provide easy, reproducible first‑stage retrieval (sparse, dense, or hybrid) for information‑retrieval research and RAG pipelines. It includes pre‑built indexes, evaluation scripts, and a REST server, and can be installed via `pip`.

  • 專案
    weiwill88/Local_Pdf_Chat_RAG

    一個模組化的 Python 參考實作，用於學習和實驗文件解析、混合檢索與 LLM 生成。

  • 專案
    alibaba/RecIS

    一個用於超大規模推薦系統的統一深度學習框架，在 PyTorch 生態系統中優化稀疏與密集計算。

  • 專案
    NovaSearch-Team/RAG-Retrieval

    一個用於訓練、微調和蒸餾 RAG 檢索模型的全面工具包，包括嵌入模型、後期交互模型和重排序器。