1CatAI/1Cat-vLLM

1Cat‑LLM（旧 1Cat‑vLLM）

概要 – NVIDIA Volta GPU（SM70、例：Tesla V100）専用に設計されたオープンソースの vLLM 推論エンジンのフォークです。この古いハードウェア上で大規模言語モデルをより高速に実行するためのカーネル、データ型処理、スケジューリングの工夫が追加されています。

主な機能

• Volta 最優先の最適化 – V100 の Tensor Core をターゲットにしたカスタム FlashAttention カーネル、FP8/E4M3 KV キャッシュサポート、CUDA グラフスケジューリング、混合精度パス。
• モデルサポート – GGUF チェックポイント形式と、コミュニティ量子化された Qwen 3.x、DeepSeek-V4、GLM-5.3 などの 27-30B パラメータモデルのセットに対応。チェックポイントの例がリストされています（例：QUASAR-QAT/Qwen3.8-27B-NVFP4）。
• パフォーマンス – 4-GPU V100-SXM2（32 GB）システムで、DFlash2 投機的デコードエンジンを使用すると、27B モデルで最大約 260 tokens/s を報告。128K トークンコンテキストの典型的なデコードレートは約 50 tok/s。
• 品質を考慮したベンチマーク – README では、生のスループット数値とデータセットスコア（MBPP、HumanEval、GSM8K）および投機的デコードの受入率をペアにして、速度と出力品質のトレードオフをユーザーが確認できるようにしています。
• GGUF と混合ロード – 最近のリリースでは、GGUF モデル形式のサポートと、モデルの一部を異なる精度でロードする機能が追加され、V100 メモリに収まるモデルの範囲が広がりました。

対象ユーザー – レガシーな Volta クラスタ（例：学術 HPC センターやコスト制約のあるクラウド環境）で大規模 LLM を実行する必要がある研究者やエンジニア。V100 から追加の TFLOP/s を引き出すことで、1Cat‑LLM は新しい A シリーズ GPU を購入することなく、27-30B パラメータモデルのサービス提供や評価を可能にします。

使用方法

1. Python パッケージ（旧 1Cat‑vLLM wheel と同じ名前）と、V100 ドライバ用にコンパイルされた対応するネイティブ拡張をインストールします。
2. サポートされているチェックポイント（GGUF またはリストされている Qwen/DeepSeek バリアント）を選択し、おなじみの vLLM API を介して推論を起動します。オプションで DFlash2 投機的デコーダを有効にします。
3. 設計ドキュメントに従って、KV キャッシュのデータ型（fp8_e4m3 または e5m2）やその他の起動フラグを調整し、ハードウェアで最高のスループットを実現します。

制限事項 – 速度数値は特定のハードウェア（4 台の V100-SXM2 GPU）とベンチマーク条件に依存しており、他のセットアップでは結果が異なります。一部の機能（GGUF サポート、混合ロード）は、プリビルドの wheel ではなくソースからのビルドが必要です。

ステータス – 2026 年 10 月現在（v1.5.1）積極的にメンテナンスされています。プロジェクトは新しい名前 1Cat‑LLM に移行中ですが、既存のリリース成果物は互換性のために保持されています。