thu-pacman/chitu

High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.

What it solves

Chitu는 소규모 AI 실험과 대규모 엔터프라이즈 배포 사이의 격차를 메우기 위해 설계된 프로덕션 급 대형 모델 추론 엔진입니다. 다양한 하드웨어 환경을 유연하게 다룰 수 있으면서도 동시 비즈니스 트래픽을 안정적으로 지원할 수 있는 고성능 추론 프레임워크에 대한 필요성을 해결합니다.

How it works

Chitu는 순수 CPU 배포, 단일 GPU 설정부터 대규모 클러스터에 이르기까지 다양한 하드웨어 구성을 지원하는 확장 가능한 추론 솔루션을 제공합니다. FP4에서 FP8/BF16으로의 온라인 양자화 변환과 같은 효율적인 연산자를 활용하고, CPU+GPU 이종 혼합 추론을 지원하여 제한된 하드웨어에서도 DeepSeek‑R1 671B와 같은 거대한 모델을 배포할 수 있게 합니다.

Who it’s for

NVIDIA GPU와 Ascend, Moore Threads, Muxi, 해광 등 다양한 국내 AI 칩을 포함한 여러 하드웨어 백엔드에서 프로덕션 환경에 대형 언어 모델(LLM)을 배포해야 하는 기업 및 개발자를 위한 것입니다.

Highlights

  • Broad Hardware Compatibility: Supports NVIDIA GPUs, Ascend 910B, Moore Threads, Muxi, and Haiguang chips.
  • Flexible Deployment: Offers a single-file executable (chitu.run) for complex tasks like multi-node, multi-instance, and PD separation.
  • High-Performance Quantization: Implements efficient operators for FP4, FP8, and BF16 conversions.
  • Wide Model Support: Compatible with major models including DeepSeek, Qwen, GLM, and Kimi.