basetenlabs/truss

何を解決するか

Trussは、AI/MLモデルを開発から本番環境へ移行するプロセスを簡素化します。開発者が手動でコンテナ化、Dockerfileの作成、Kubernetesの設定、GPUのセットアップを行う必要がなくなります。これらは通常、スケーラブルなモデルAPIをデプロイする上で複雑で時間がかかる障壁です。

動作方法

Trussは、モデルサービングロジック、重み、依存関係を標準化された形式にパッケージ化するCLIを提供します。ユーザーはconfig.yamlファイルを使って、ハードウェア（例：L4 GPU）や推論エンジン（例：TensorRT-LLM）を指定するだけでモデルをデプロイできます。transformers、diffusers、PyTorch、TensorFlowなど幅広いフレームワークをサポートしており、vLLMやSGLangなどの最適化されたエンジンも対応しています。Basetenなどのプラットフォームにプッシュすると、Trussはビルドプロセス（オプションのTensorRT最適化や量子化（例：FP8）を含む）を処理し、OpenAI互換のAPIエンドポイントにモデルを変換します。

対象ユーザー

インフラストラクチャの管理や複雑なコンテナオーケストレーションスクリプトの記述なしに、モデルを本番環境にデプロイしたい機械学習エンジニアや開発者。

特徴

• フレームワーク非依存：PyTorch、TensorFlow、vLLMなど、ほぼすべてのPython MLフレームワークをサポート。
• ゼロ設定コンテナ：コンテナ化と依存関係管理を自動化し、Dockerfileの記述を省略可能。
• 最適化された推論：高パフォーマンスなサービングのためのTensorRT-LLM統合サポート。
• 開発者フレンドリーなループ：開発中の高速イテレーションを可能にするライブリロード機能。
• IDEサポート：config.yaml用のJSONスキーマを提供し、現代的なエディタでの自動補完と検証を可能に。