vllm: 它是什么，解决了什么问题以及为什么它备受关注

它解决了什么问题

\nvLLM 旨在使大语言模型 (LLM) 的推理和推理服务变得快速、简单且具有成本效益。它解决了大规模部署 LLM 时内存管理和吞吐量的瓶颈问题。

它是如何工作的

vLLM 使用了一种称为 PagedAttention 的技术，该技术可以高效地管理注意力机制的 key 和 value 内存。它还采用了对传入请求的连续批处理 (continuous batching)、分块预填充 (chunked prefill) 和前缀缓存 (prefix caching) 来最大化吞吐量。为了提高性能，它利用了优化的注意力内核 (例如 FlashAttention) 并支持各种量化方法 (例如 FP8, INT8, 和 AWQ) 以减少内存占用并提高速度。

它是为谁准备的

它适用于需要以高吞吐量和低延迟部署 LLM 的开发人员和研究人员，支持包括 NVIDIA 和 AMD GPU 在内的广泛硬件，以及各种 CPU 和专门的 NPU/TPU。

亮点

• 高吞吐量: 通过连续批处理和优化的内核实现最先进的服务吞吐量。
• 广泛的模型支持: 无缝支持超过 200 种 Hugging Face 模型架构，包括 decoder-only、MoE 和多模态模型。
• 灵活的 API: 提供与 OpenAI 兼容的 API 服务器，并支持 Anthropic Messages API 和 gRPC。
• 硬件无关性: 可以在 NVIDIA GPU、AMD GPU、x86/ARM/PowerPC CPU 上运行，并支持 Google TPUs、Intel Gaudi 等插件。
• 高级解码: 支持投机解码 (speculative decoding)、并行采样 (parallel sampling) 和束搜索 (beam search)。