DataScienceUIBK/Rankify

🔥 Rankify: A Comprehensive Python Toolkit for Retrieval, Re-Ranking, and Retrieval-Augmented Generation 🔥. Our toolkit integrates 40 pre-retrieved benchmark datasets and supports 7+ retrieval techniques, 24+ state-of-the-art Reranking models, and multiple RAG methods.

What it solves

Rankify は、検索、リランキング、および検索拡張生成 (RAG) パイプラインの構築とベンチマークのための、統一されたモジュール式 Python ツールキットです。異なる検索器、リランカー、生成器の組み合わせを実験するプロセスを簡的に化し、複数の最先端モデルとデータセットの統合における摩擦を軽減します。

How it works

Rankify は、コンポーネントを簡単に交換できるモジュール式アーキテクチャを採用しています。迅速なデプロイのための高レベルな "Pipeline API" (例: pipeline("rag")) と、高度なユーザー向けのより詳細なワークフローを提供します。このツールキットは、様々な検索技術 (BM25, BGE, および ColBERT を含む) 、 24+ のリランカーモデル、および複数の RAG 生成器を統合しています。また、 AI 駆動型のモデル選択を行う RankifyAgent と、これらのパイプラインを REST APIs としてデプロイするための組み込み済みサーバーも備えています。

Who it’s for

情報検索と RAG の分野の研究者や実務家が、異なるモデルのベンチマーク、検索パイプラインの実験、検索および生成システムのプロダクション環境へのデプロイのための標準化された方法を必要としている場合に適しています。

Highlights

  • One-Line Pipeline API: 最小限のコードで、検索、リランク、または RAG パイプラインを迅速に作成できます。

  • Extensive Model Support: 7 つの検索技術と 24+ の最先端のリランカーモデルを統合しています。

  • AI-Powered Selection: 特定のユースケースに基づいて最適なモデルを推奨する対話型エージェントが含まれています。

  • Benchmark Datasets: Hugging Face を通じて 40+ の事前検索済みベンチマークデータセットにアクセス可能です。

  • Production Ready: REST API デプロイメントのための組み込みサーバー、および LangChain と LlamaIndex との連携が可能です。

  • Interactive UI: モデルのテストと比較のための Gradio ベースの Web プレイグラウンドを提供します。