luminal-ai/luminal

Inference at the speed of light.

해결하는 문제

Luminal은 전통적인 딥러닝 프레임워크에서 발생하는 성능 저하와 복잡성 폭증을 극복하기 위해 설계되었습니다. 즉각 실행(eager-first) 방식을 대체하여, 사전에 계산 그래프를 최적화하는 고성능의 일반 목적 추론 컴파일러를 도입함으로써 런타임 오버헤드를 줄이고 하드웨어 활용도를 극대화합니다.

작동 방식

Luminal은 모든 신경망을 정적 계산 그래프로 간주합니다. 복잡한 연산을 15개의 기본 연산(unary, binary, 기타)으로 축소하여 최소한의 핵심을 유지합니다. 수작업 히ュ리스틱에 의존하는 대신, 탐색 기반 접근법을 사용하여 가장 효율적인 실행 경로를 자동으로 탐색합니다. Flash Attention과 같은 최적화도 자동으로 발견할 수 있습니다. Rust로 작성되었으며, 추상화 계층을 피하기 위해 CUDA, Metal 등의 가속기 API에 직접 접근합니다.

대상 사용자

어떤 장치에서도 최대의 추론 속도가 필요한 개발자 및 연구자, 그리고 torch.compile를 통해 Luminal을 컴파일러 백엔드로 사용하고자 하는 PyTorch 사용자에게 적합합니다.

주요 특징

  • 고성능: H100에서 Q8 Llama 3 8B를 이론적 최대 성능의 약 80%로 실행 가능.
  • PyTorch 통합: PyTorch 모델의 컴파일러 백엔드로 작동.
  • 미니멀리스트 아키텍처: 15개의 기본 연산만을 사용하는 RISC 스타일 아키텍처.
  • 기호적 차원: 동적 형태를 기호적 차원으로 네이티브 지원하여 강력한 특화를 가능하게 함.
  • 네이티브 Rust 구현: 하드웨어 API에 직접 접근하는 정적 링크 가능한 Rust 크레이트.

관련

  • 프로젝트
    EricLBuehler/mistral.rs

    mistral.rs는 Rust 기반의 빠르고 유연한 로컬 LLM 추론 엔진입니다. 다양한 모델 형식(Hugging Face, GGUF), 자동 하드웨어 인식 양자화, 멀티모달 입력, 내장 에이전트 기능(도구 호출, Python/셸 실행, 웹 검색)을 지원합니다. OpenAI 호환 및 Anthropic 호환 API를 제공하며, 웹 UI를 갖추고 임베딩용 Rust 및 Python SDK도 제공합니다.

  • 프로젝트
    lucasjinreal/Crane

    Crane은 Candle ML 라이브러리 기반으로 구축된 Rust 기반 추론 엔진입니다. GGUF 모델(LLM, 비전-언어, OCR, ASR, TTS 등)을 로드하고 CPU, CUDA, Apple Metal 또는 AMD ROCm에서 빠르게 실행하며, OpenAI 호환 서버와 사용하기 쉬운 Rust API를 제공합니다.

  • 프로젝트
    facebookincubator/AITemplate

    NVIDIA 및 AMD GPU에서 고성능 추론 서빙을 위해 깊은 신경망을 최적화된 CUDA/HIP C++ 코드로 변환하는 Python 프레임워크입니다.

  • 프로젝트
    huggingface/candle

    Rust를 위한 미니멀리스트 ML 프레임워크로, 가벼운 Python 없는 서버리스 추론 및 브라우저 기반 모델 실행을 가능하게 합니다.

  • 프로젝트
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM은 NVIDIA의 오픈 소스 라이브러리로, 대규모 언어 모델(및 비주얼 생성 모델)을 초고속 TensorRT 추론 엔진으로 컴파일합니다. 사용자 정의 CUDA 커널, 양자화, 스파스 어텐션, 투기적 디코딩, 멀티 GPU 병렬 처리를 제공하며 정확도를 유지하면서 토큰 처리량을 2~10배 높입니다. Python 친화적 런타임은 Triton, Kubernetes, Jetson과 통합되며 GPT‑OSS‑120B, Llama‑4, DeepSeek‑R1, 확산 모델 등의 문서와 예제를 포함합니다.