thu-pacman/chitu

High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.

What it solves

Chitu 是一個具備生產等級的大模型推論引擎，旨在彌合小規模 AI 實驗與大型企業部署之間的鴻溝。它解決了需要高效能推論框架的問題，該框架必須足夠彈性以因應多樣化的硬體環境，同時又足夠穩定以支援同時的業務流量。

How it works

Chitu 提供可擴展的推論解決方案，支援從純 CPU 部署、單 GPU 設置到大規模叢集的各種硬體配置。它使用高效的運算子進行線上量化轉換（例如 FP4 轉 FP8/BF16），並支援異質混合推論（CPU+GPU），使得在受限硬體上也能部署如 DeepSeek‑R1 671B 這樣的大模型。

Who it’s for

此引擎適用於需要在生產環境中跨各種硬體後端部署大型語言模型（LLM）的企業與開發者，支援 NVIDIA GPU 以及多種國產 AI 晶片（如 Ascend、Moore Threads、Muxi、海光）。

Highlights

  • Broad Hardware Compatibility: Supports NVIDIA GPUs, Ascend 910B, Moore Threads, Muxi, and Haiguang chips.
  • Flexible Deployment: Offers a single-file executable (chitu.run) for complex tasks like multi-node, multi-instance, and PD separation.
  • High-Performance Quantization: Implements efficient operators for FP4, FP8, and BF16 conversions.
  • Wide Model Support: Compatible with major models including DeepSeek, Qwen, GLM, and Kimi.