luminal-ai/luminal

Inference at the speed of light.

解决的问题

Luminal 旨在克服传统深度学习框架中存在的性能瓶颈和复杂性爆炸问题。它用一种高性能、通用的推理编译器替代了急切执行（eager-first）模式，提前优化计算图，减少运行时开销，最大化硬件利用率。

工作原理

Luminal 将所有神经网络视为静态计算图。它将复杂操作简化为 15 种基本操作（一元、二元及其他），以保持最小核心。不依赖手工编写的启发式规则进行优化，而是采用基于搜索的方法自动发现最高效的执行路径——能够自动发现 Flash Attention 等优化。它使用 Rust 编写，并直接与加速器 API（CUDA、Metal）交互，避免抽象层。

适用人群

适用于需要在任何设备上实现最大推理速度的开发者和研究人员，以及希望使用 torch.compile 将 Luminal 作为 PyTorch 编译后端的 PyTorch 用户。

主要亮点

  • 高性能：可在 H100 上以约 80% 的理论最大性能运行 Q8 Llama 3 8B。
  • PyTorch 集成：可作为 PyTorch 模型的编译后端使用。
  • 极简架构：采用仅包含 15 种基本操作的 RISC 风格设计。
  • 符号维度：原生支持动态形状，通过符号维度实现激进的特殊化。
  • 原生 Rust 实现：静态链接的 Rust crate，直接与硬件 API 交互。

相关

  • 项目
    EricLBuehler/mistral.rs

    mistral.rs 是一个基于 Rust 的快速、灵活的本地 LLM 推理引擎。它支持多种模型格式（Hugging Face、GGUF）、自动硬件感知量化、多模态输入以及内置的代理功能（工具调用、Python/Shell 执行、网络搜索）。它可以提供 OpenAI 兼容和 Anthropic 兼容的 API，提供 Web UI，并提供用于嵌入的 Rust 和 Python SDK。

  • 项目
    lucasjinreal/Crane

    Crane 是一个基于 Rust 的推理引擎，构建在 Candle ML 库之上。它加载 GGUF 模型（LLM、视觉语言、OCR、ASR、TTS 等），并在 CPU、CUDA、Apple Metal 或 AMD ROCm 上快速运行，提供 OpenAI 兼容的服务器及易于使用的 Rust API。

  • 项目
    facebookincubator/AITemplate

    一个将深度神经网络转换为优化的 CUDA/HIP C++ 代码的 Python 框架，用于在 NVIDIA 和 AMD GPU 上实现高性能推理服务。

  • 项目
    huggingface/candle

    一个适用于 Rust 的极简机器学习框架，能够实现轻量级、无需 Python 的无服务器推理以及基于浏览器的模型执行。

  • 项目
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM 是 NVIDIA 的开源库，可将大型语言模型（以及视觉生成模型）编译成超快的 TensorRT 推理引擎。它提供自定义 CUDA 内核、量化、稀疏注意力、推测解码和多 GPU 并行，在保持准确性的同时，令牌吞吐量提高 2-10 倍。Python 友好的运行时与 Triton、Kubernetes 和 Jetson 集成，并包含 GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1 和扩散模型等模型的文档和示例。