lablup/mlxcel

解决的问题

mlxcel 是一个高性能推理引擎，旨在 Apple Silicon、NVIDIA CUDA 以及实验性的 AMD ROCm 上运行大型语言模型（LLM）、视觉语言模型（VLM）、嵌入、重排序器和音频模型。它在请求路径中无需 Python 环境或解释器层，为面向生产的模型服务提供基于 Rust 的原生运行时。

工作原理

该项目用 Rust 实现了 CLI 和服务器，通过原生 MLX C++ 绑定直接执行 MLX SafeTensors 检查点。这种架构使其无需转换步骤即可从 HuggingFace（包括 mlx-community）加载检查点。它支持高级服务功能，如连续批处理、提示前缀缓存、推测解码和分布式推理。

适用对象

它专为需要在 Apple Silicon（主要目标）或 Linux/CUDA 系统上部署 AI 模型的开发者和运维人员而构建，也适用于寻求高性能、兼容 llama-server API 进行本地或生产服务的人员。

亮点

• 原生运行时： 请求路径中无需 Python，将部署产物简化为原生可执行文件。
• 广泛模态支持： 处理文本生成、多模态输入（图像/视频）、嵌入、重排序、ASR（转录）和 TTS（语音合成）。
• API 兼容性： 已验证与 llama-server 的兼容性，并原生支持 OpenAI、Anthropic 和 Vertex AI 兼容路由。
• 硬件加速： 针对 Apple Silicon、NVIDIA CUDA 以及 AMD ROCm（RDNA 3.5）的实验性支持进行了优化。
• 高级推理： 包括推测解码（MTP/DFlash）、KV 缓存压缩，以及带 LRU 驱逐的多模型路由器。
• 模型手术： 支持基于 YAML 的加载时权重编辑，如缩放、剪枝和插值。