1CatAI/1Cat-vLLM

1Cat‑LLM（原 1Cat‑vLLM）

是什么 – 一个专为 NVIDIA Volta GPU（SM70，例如 Tesla V100）设计的开源 vLLM 推理引擎分支。它添加了内核、数据类型处理和调度技巧，使大型语言模型在这类较旧硬件上运行得更快。

主要功能

• Volta 优先优化 – 自定义 FlashAttention 内核、FP8/E4M3 KV 缓存支持、CUDA 图调度和针对 V100 Tensor Core 的混合精度路径。
• 模型支持 – 支持 GGUF 检查点格式以及一组社区量化的 Qwen 3.x、DeepSeek-V4、GLM-5.3 和其他 27-30B 参数模型。示例检查点已列出（例如 QUASAR-QAT/Qwen3.8-27B-NVFP4）。
• 性能 – 在 4-GPU V100-SXM2（32 GB）系统上，该库报告使用 DFlash2 推测解码引擎时，27B 模型可达约 260 tokens/s；128K token 上下文的典型解码速率约为 50 tok/s。
• 质量感知基准 – README 将原始吞吐量与数据集分数（MBPP、HumanEval、GSM8K）和推测解码接受率配对，让用户看到速度与输出质量之间的权衡。
• GGUF 与混合加载 – 最新版本增加了对 GGUF 模型格式的支持，以及以不同精度加载模型部分的能力，扩大了可适配 V100 内存的模型范围。

适用人群 – 必须在旧版 Volta 集群（例如学术 HPC 中心或成本受限的云环境）上运行大型 LLM 的研究人员或工程师。通过从 V100 中提取额外的 TFLOP/s，1Cat‑LLM 使他们无需购买更新的 A 系列 GPU 即可服务或评估 27-30B 参数模型。

使用方法

1. 安装 Python 包（与旧版 1Cat‑vLLM wheel 同名）以及为您的 V100 驱动编译的匹配原生扩展。
2. 选择受支持的检查点（GGUF 或列出的 Qwen/DeepSeek 变体），通过熟悉的 vLLM API 启动推理，可选启用 DFlash2 推测解码器。
3. 根据设计文档调整 KV 缓存数据类型（fp8_e4m3 或 e5m2）和其他启动标志，以在您的硬件上获得最佳吞吐量。

局限性 – 速度数据与特定硬件（四块 V100-SXM2 GPU）和基准测试条件紧密相关；在其他设置上结果会有所不同。某些功能（GGUF 支持、混合加载）需要从源码构建，而不是使用预构建的 wheel。

状态 – 截至 2026 年 10 月（v1.5.1）仍在积极维护。项目正在过渡到新名称 1Cat‑LLM，同时保留现有发布工件以保持兼容性。