Avarok-Cybersecurity/atlas

解决的问题

Atlas 是一个高性能的 LLM 推理引擎，旨在高效运行大模型，适用于从边缘设备到数据中心机架的广泛硬件。它无需依赖 Python 或 PyTorch 等重型依赖，提供轻量级、单二进制文件的运行时，最大化吞吐量并降低延迟，尤其适用于频繁调用工具和长上下文窗口的代理工作负载。

工作原理

Atlas 采用纯 Rust 和 CUDA 编写，使用针对特定硬件、模型和量化目标量身定制的手动调优 CUDA 内核。它实现了多种高级优化技术：

• 推测解码：支持 MTP（多标记预测）草稿头和 DFlash 块扩散，以提升每秒生成的标记数。
• 内存管理：利用基数树前缀缓存处理多轮对话，并采用 FP8/NVFP4 量化以减少内存占用。
• SLAi 调度器：一种 SLO 友好的调度器，通过重新排序并发序列来优化验证批处理和预填充效率。
• 专家并行：支持跨多个节点（例如 2x GB10）扩展，适用于超大规模模型。
• 硬件抽象：采用即插即用架构，使同一 CUDA 源代码可编译为不同目标（例如通过 SCALE 支持 NVIDIA 和 AMD）。

适用人群

Atlas 专为在生产环境中部署 LLM 的开发者和组织设计，尤其适用于对性能、低开销和硬件灵活性要求极高的场景。它特别针对需要长上下文窗口和快速工具使用循环的代理式编程工作负载（如 Claude Code 或 Cline）进行了优化。

主要亮点

• 纯 Rust 运行时：以单个约 75 MB 的二进制文件分发，无 Python 或 PyTorch 依赖。
• 广泛的硬件支持：已在 NVIDIA DGX Spark（GB10/Blackwell）和 AMD Strix Halo 上验证，Apple Silicon 的早期支持也已启动。
• OpenAI 兼容：支持 OpenAI、Anthropic 和 Responses API。
• 高并发性能：在广泛并发级别（C=1 到 C=128）下均优于 vLLM。
• 高级量化支持：支持权重和 KV 缓存的 NVFP4 和 FP8 量化。