Avarok-Cybersecurity/atlas

What it solves

Atlas 是一个高性能 LLM 推理引擎，旨在消除 Python 推理栈中常见的依赖地狱和不稳定性。它旨在通过硬件特定的优化来最大化本地推理速度，从而减少对昂贵的 Cloud APIs 的依赖，使强大的模型能够在本地硬件上高效运行。

How it works

Atlas 完全使用 Rust 构建，采用基于 traits 的模块化、“即插即用”架构。这使得它能够将 HTTP API 和调度器与实际的模型逻辑和硬件后端解耦。Atlas 不使用通用内核，而是采用硬件和模型特定的内核（例如，针对 NVIDIA GB10 的自定义 CUDA kernels），以实现 2-3 倍的速度提升。该系统支持多种架构，包括 MoE、SSM 和 Hybrid 模型，并利用注册系统在构建时根据硬件、模型和量化目标自动发现正确的 kernels。

Who it’s for

它是为希望获得稳定、高速本地推理环境的软件工程师和 AI 社区设计的。对于那些在 NVIDIA GB10 (DGX Spark) 硬件上进行部署的人来说特别有用，尽管其架构设计旨在最终支持 AMD、Apple Silicon 和 Intel。

Highlights

• Pure Rust Implementation: Avoids the complexity and instability of polyglot codebases.
• Hardware-Specific Kernels: Custom-tuned kernels for specific hardware/model combinations to maximize throughput.
• Modular Architecture: Trait-based design allows for easy integration of new models and hardware targets.
• AI-Friendly Codebase: Specifically structured to encourage and facilitate AI-generated pull requests and contributions.
• Broad Model Support: Ships with support for a wide array of modern architectures including Qwen, Gemma-4, Mistral, and Nemotron.