texttron/tevatron

解決する課題

Tevatronは、大規模なニューラルリトリーバーを構築・トレーニングするための統合ツールキットを提供します。計算リソースとメモリの効率を維持しながら、異なる言語やモダリティ（テキストおよび画像）にわたる数十億規模のLLMベースのリトリーバーをトレーニングするという課題に対処します。

仕組み

このツールキットを使用すると、ユーザーはLoRAを介したパラメータ効率の高い微調整（PEFT）を使用して、学習済みモデル（Mistral-7B、BGE-Embedding、Instruct-E5など）をファインチューニングできます。PyTorch (GPU) と JAX (TPU/GPU) の両方のバックエンドをサポートしています。パフォーマンスを最適化するために、vLLM、DeepSpeed、FlashAttention、GradCacheなどの高効率なライブラリと統合されています。一般的なワークフローには、クエリとパッセージのペアでリトリーバーをトレーニングし、コーパスを埋め込みにエンコードし、類似性検索を実行して関連ドキュメントを取得することが含まれます。

対象者

高密度検索（dense retrieval）、オープンドメインの質問応答、およびマルチモーダル検索システムに取り組んでおり、モデルを数十億のドキュメント規模に拡張する必要があるAI研究者およびエンジニア。

ハイライト

• マルチバックエンド対応: GPU用のPyTorchと、TPU/GPU用のJAXに対応。
• 規模とモダリティ: 多言語にわたる数十億規模の検索、およびテキストと画像の両方のモダリティをサポート。
• 効率性: パラメータ効率の高いチューニングのためのLoRA、および高速なトレーニングのためのDeepSpeed/FlashAttentionを統合。
• すぐに使えるデータ: マルチモーダルおよび多言語の検索タスク向けに、自己完結型のHuggingFaceデータセットを含む。