Lightning-AI/LitServe

What it solves

LitServe 解决了现有推理工具的僵化问题，这些工具通常是为单一模型类型构建的，并强制执行严格的抽象。它允许开发者使用纯 Python 构建自定义推理服务器，而无需复杂的 MLOps 胶水代码或配置文件，从而更容易部署非标准流水线、多模型系统和 AI 智能体。

How it works

开发者通过继承 ls.LitAPI 来定义推理引擎，其中他们在 setup() 方法中指定如何加载模型，并在 predict() 方法中指定如何处理请求。此逻辑随后被封装在 ls.LitServer 中，由其管理底层的性能、并发、扩展和部署。它基于 FastAPI 构建，但专门针对 AI 工作负载进行了优化，提供了更好的多工作进程处理能力。

Who it’s for

它专为需要完全控制其推理逻辑、批处理、路由和编排的 AI 开发者设计，无论他们是在构建聊天机器人、RAG 系统、MCP 服务器还是复杂的多模型流水线。

Highlights

• Flexible Deployment: 支持任何 PyTorch、JAX 或 TensorFlow 模型，并且可以自托管或通过 Lightning AI 部署。
• AI-Optimized Performance: 声称在 AI 任务中比纯 FastAPI 快 2 倍。
• Advanced Serving Features: 包括对批处理、流式传输和 GPU 自动扩缩容的内置支持。
• C-Suite Compatibility: 符合 OpenAPI 标准并支持 OpenAI 规范。
• Broad Use-Case Support: 能够提供从 LLM 和多模态模型到像 XGBoost 这样的经典 ML 模型的各种服务。