zengxiao-he/tessera

解決する課題

Tessera は、モデル蒸留と効率的な推論の間のギャップを埋めるために設計された、ゼロから構築された完全な LLM スタックの実装を提供します。トレーニング、カスタム GPU アクセラレーション、および高性能なサービングを単一の統合されたコードベースに統合することで、エンドツーエンドのパイプライン構築における複雑さを解消します。

仕組み

このプロジェクトは「蒸留ファースト」のワークフローに従います。カスタム構築されたシャーディングトレーニング（FSDP/ZeRO-3）を使用して、より大きな「教師」モデルから小さな「学生」モデルをトレーニングします。トレーニング後、ページングされた KV キャッシュ、連続バッチ処理、投機的デコードを備えたカスタム推論エンジンを使用して学生モデルをデプロイします。システムはパフォーマンスのために Triton および CUDA カーネルを使用し、HTTP リクエストとアドミッションコントロールを処理するために Rust ベースのゲートウェイ（PyO3 経由）を採用しています。

対象読者

このプロジェクトは、巨大で不透明なフレームワークに依存することなく、カスタム GPU カーネル、分散トレーニング、高スループットなサービングアーキテクチャなど、LLM システムの低レベルなメカニズムを理解または構築したい開発者や研究者を対象としています。

ハイライト

• フルスタック実装: カスタム Triton/CUDA カーネル、FSDP/ZeRO-3 トレーニング、およびページングアテンション（paged-attention）推論エンジンが含まれています。
• 高度なサービング: 連続バッチ処理、投機的デコード、および本番環境向けの Rust ベースの API ゲートウェイを備えています。
• 蒸留に特化: 大規模な教師モデルを効率的な小型の学生モデルに蒸留するために特別に構築されています。
• 検証ファースト: PyTorch の結果を検証するための JAX/XLA リファレンス実装が含まれており、トレーニングおよび推論コンポーネント間での数値的整合性を確保するための広範なテストが行われています。