thu-pacman/chitu

High-performance inference framework for large language models, focusing on efficiency, flexibility, and availability.

What it solves

Chitu は、スモールスケールの AI 実験と大規模エンタープライズ展開のギャップを埋めることを目的とした、プロダクションレベルの大規模モデル推論エンジンです。多様なハードウェア環境に柔軟に対応でき、かつ同時ビジネス traffic を安定して処理できる高性能推論フレームワークの必要性に応えます。

How it works

Chitu は、純粋な CPU デプロイや単一 GPU 設定から大規模クラスターまで、幅広いハードウェア構成をサポートするスケーラブルな推論ソリューションを提供します。FP4 から FP8/BF16 へのオンライン量子化変換などの効率的なオペレーターを利用し、CPU+GPU のヘテロ混合推論をサポートして、限られたハードウェア上でも DeepSeek‑R1 671B のような巨大モデルのデプロイを可能にします。

Who it’s for

NVIDIA GPU や Ascend、Moore Threads、Muxi、海光などの国内 AI チップを含む様々なハードウェアバックエンド上で、プロダクション環境に大規模言語モデル（LLM）をデプロイする必要がある企業や開発者を対象としています。

Highlights

  • Broad Hardware Compatibility: Supports NVIDIA GPUs, Ascend 910B, Moore Threads, Muxi, and Haiguang chips.
  • Flexible Deployment: Offers a single-file executable (chitu.run) for complex tasks like multi-node, multi-instance, and PD separation.
  • High-Performance Quantization: Implements efficient operators for FP4, FP8, and BF16 conversions.
  • Wide Model Support: Compatible with major models including DeepSeek, Qwen, GLM, and Kimi.