lightonai/pylate

何を解決するか

PyLate は、通常、微調整と効率的な検索に複雑な設定を必要とする、後期相互作用モデル（特に ColBERT）のトレーニング、デプロイ、使用プロセスを簡素化します。ほとんどの事前学習済み言語モデルから ColBERT モデルを構築するための統合ライブラリを提供し、トレーニングから高速検索までのワークフローを最適化します。

動作方法

PyLate は Sentence Transformers を基盤とし、いくつかの専門的なコンポーネントを統合しています。

• トレーニング: 大規模バッチサイズに対応する GradCache を使用可能な対照的トレーニングと、より強力な教師モデルからの知識蒸留をサポートします。
• インデキシング: FastPLAID、WARP、TACHIOM などの効率的なバックエンドを活用して、トークンベクトルを圧縮し、200ms未満の遅延で検索を可能にします。
• 検索と再ランク付け: クエリとドキュメントをトークンレベルの埋め込みにエンコードし、フルインデックス検索または少数のドキュメントに対する直接再ランク付けを実行するためのツールを提供します。

対象ユーザー

クロスエンコーダの精度とバイエンコーダの速度を両立する後期相互作用アーキテクチャを活用して、情報検索（IR）や RAG パイプラインに取り組んでいる開発者や研究者。

特徴

• 柔軟なトレーニング: 対照的損失および蒸留損失を用いた単一およびマルチGPUでの微調整をサポート。
• 広範なモデル対応: 多くの事前学習済み言語モデルを ColBERT風の後期相互作用モデルに変換可能。
• 効率的な検索: PLAID、WARP、TACHIOM などの複数の高性能インデキシングバックエンドを統合し、スケーラブルな検索を実現。
• Hugging Face 統合: Hugging Face Datasets をシームレスに活用し、トリプレットおよび蒸留トレーニングが可能。