xLLM-AI/xllm

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

解決する課題

xLLMは、エンタープライズグレードのハードウェア上で大規模言語モデル（LLM）をデプロイする際のコスト削減と効率化を目的として設計されており、特に中国製AIアクセラレータに最適化されています。JD.comの小売業務において大規模な実戦環境でテスト済みの、高スループットかつ低遅延な推論フレームワークを提供します。

仕組み

このフレームワークは、サービスとエンジンを分離したアーキテクチャを採用しています。サービス層がスケジューリングと可用性を管理し、エンジン層が実際の計算処理を担当します。また、ハイブリッドKVキャッシュ管理（Mooncakeベース）を組み込むことで、インテリジェントなオフロードとプリフェッチを行い、パフォーマンスをさらに最適化します。

対象ユーザー

Ascend NPU、Cambricon MLU、Moore Threads GPU、Hygon DCU、MetaX MACA、Iluvatar CoreX GPUといった中国製AIハードウェア上でLLMをデプロイする必要がある企業や開発者を対象としています。

主な特徴

  • 幅広いハードウェアサポート: 多様な中国製AIアクセラレータ向けに深く最適化されています。
  • エンタープライズグレード: 実際の小売ビジネス環境において大規模な実績があります。
  • 分離型アーキテクチャ: サービススケジューリングと計算エンジンを分離しています。
  • 高性能: 推論における高スループットと低遅延の実現に注力しています。

関連

  • プロジェクト
    ztxz16/fastllm

    ローカルおよびサーバー環境向けに設計された高性能LLM推論エンジン。混合デバイス実行（GPU/CPU/ディスク）や投機的デコードなどの高度な最適化技術をサポートします。

  • プロジェクト
    ModelTC/LightLLM

    LightLLM は Python ベースの高性能推論・サービングフレームワークで、大規模言語モデル（LLM）向けに設計されています。高速カーネル（FlashAttention、Triton）と軽量なトークンレベル KV キャッシュ管理を組み合わせ、マルチ GPU スケーリングをサポートし、制約付きデコードや SLA 対応リクエストスケジューリングといった研究レベルの機能も提供します。

  • プロジェクト
    kkokosa/dotLLM

    C#/.NET でネイティブに記述された高性能 LLM 推論エンジン。Python や llama.cpp に依存せず、Transformer モデルに対してネイティブな CPU/GPU サポートを提供します。

  • プロジェクト
    localai-org/vllm.cpp

    vLLMと同等の機能とスループットを備えつつ、Python/PyTorchへの依存を排除し、デプロイ時のフットプリントを140分の1に削減した高性能C++20推論エンジン。

  • プロジェクト
    vllm-project/vllm

    vLLM は、大規模言語モデルの高スループット・低レイテンシーなサービングのためのオープンソースライブラリです。効率的な KV キャッシュ処理のための PagedAttention を導入し、多くの量子化形式をサポートし、高速アテンションカーネルを統合し、GPU、CPU、その他のアクセラレータで動作する OpenAI 互換 API を提供します。