basetenlabs/truss

解决的问题

Truss 简化了将 AI/ML 模型从开发环境迁移到生产环境的过程。它消除了开发者手动处理容器化、Dockerfile 创建、Kubernetes 配置和 GPU 设置的需要，这些通常是部署可扩展模型 API 时复杂且耗时的障碍。

工作原理

Truss 提供一个 CLI，将模型服务逻辑、权重和依赖项打包成标准化格式。用户只需使用一个简单的 config.yaml 文件指定硬件（如 L4 GPU）和推理引擎（如 TensorRT-LLM），即可部署模型。它支持广泛的框架，包括 transformers、diffusers、PyTorch 和 TensorFlow，以及 vLLM 和 SGLang 等优化引擎。当推送到 Baseten 等平台时，Truss 会处理构建过程——包括可选的 TensorRT 优化和量化（例如 FP8）——并将模型转换为兼容 OpenAI 的 API 端点。

适用人群

希望在不管理底层基础设施或编写复杂容器编排脚本的情况下将模型部署到生产环境的机器学习工程师和开发者。

主要亮点

• 框架无关：支持几乎所有 Python ML 框架，包括 PyTorch、TensorFlow 和 vLLM。
• 零配置容器：自动完成容器化和依赖管理，用户无需编写 Dockerfile。
• 优化推理：集成支持 TensorRT-LLM，实现高性能服务。
• 开发者友好循环：支持开发过程中的实时重载，加快迭代速度。
• IDE 支持：提供 config.yaml 的 JSON 模式，支持现代编辑器中的自动补全和验证。