1CatAI/1Cat-vLLM

1Cat‑LLM(이전 1Cat‑vLLM)

정의 – NVIDIA Volta GPU(SM70, 예: Tesla V100)를 위해 특별히 설계된 오픈소스 vLLM 추론 엔진의 포크입니다. 이 오래된 하드웨어에서 대규모 언어 모델을 훨씬 빠르게 실행할 수 있도록 커널, 데이터 유형 처리, 스케줄링 기법을 추가합니다.

주요 기능

• Volta 우선 최적화 – V100의 Tensor Core를 대상으로 하는 맞춤형 FlashAttention 커널, FP8/E4M3 KV 캐시 지원, CUDA 그래프 스케줄링, 혼합 정밀도 경로.
• 모델 지원 – GGUF 체크포인트 형식과 커뮤니티 양자화된 Qwen 3.x, DeepSeek-V4, GLM-5.3 및 기타 27-30B 파라미터 모델 세트를 지원합니다. 예시 체크포인트가 나열되어 있습니다(예: QUASAR-QAT/Qwen3.8-27B-NVFP4).
• 성능 – 4-GPU V100-SXM2(32GB) 시스템에서 DFlash2 추측 디코딩 엔진을 사용하여 27B 모델에 대해 최대 약 260 tokens/s를 보고합니다. 128K 토큰 컨텍스트의 일반적인 디코딩 속도는 약 50 tok/s입니다.
• 품질 인식 벤치마크 – README는 원시 처리량 수치를 데이터셋 점수(MBPP, HumanEval, GSM8K) 및 추측 디코딩 수락률과 함께 제공하여 사용자가 속도와 출력 품질 간의 절충을 확인할 수 있도록 합니다.
• GGUF 및 혼합 로드 – 최근 릴리스에서는 GGUF 모델 형식 지원과 모델의 일부를 다른 정밀도로 로드하는 기능이 추가되어 V100 메모리에 맞는 모델 범위가 확장되었습니다.

도움이 되는 대상 – 레거시 Volta 클러스터(예: 학술 HPC 센터 또는 비용 제약이 있는 클라우드 환경)에서 대규모 LLM을 실행해야 하는 연구자나 엔지니어. V100에서 추가 TFLOP/s를 추출함으로써 1Cat‑LLM은 최신 A 시리즈 GPU를 구매하지 않고도 27-30B 파라미터 모델을 서빙하거나 평가할 수 있게 합니다.

사용 방법

1. Python 패키지(이전 1Cat‑vLLM wheel과 동일한 이름)와 V100 드라이버용으로 컴파일된 일치하는 네이티브 확장을 설치합니다.
2. 지원되는 체크포인트(GGUF 또는 나열된 Qwen/DeepSeek 변형)를 선택하고 익숙한 vLLM API를 통해 추론을 시작합니다. 선택적으로 DFlash2 추측 디코더를 활성화할 수 있습니다.
3. 설계 문서에 설명된 대로 KV 캐시 데이터 유형(fp8_e4m3 또는 e5m2) 및 기타 시작 플래그를 조정하여 하드웨어에서 최상의 처리량을 얻습니다.

제한 사항 – 속도 수치는 특정 하드웨어(4개의 V100-SXM2 GPU)와 벤치마크 조건에 따라 달라지며, 다른 설정에서는 결과가 다를 수 있습니다. 일부 기능(GGUF 지원, 혼합 로드)은 사전 빌드된 wheel 대신 소스에서 빌드해야 합니다.

상태 – 2026년 10월 현재(v1.5.1) 적극적으로 유지 관리되고 있습니다. 프로젝트는 기존 릴리스 아티팩트를 호환성 유지하면서 새 이름 1Cat‑LLM으로 전환 중입니다.