Luce-Org/lucebox

Lucebox – 소비자 GPU와 이기종 시스템을 위한 고성능 LLM 추론 엔진

이것이 무엇인가 Lucebox는 최신 C++(C++17)로 작성된 오픈소스 추론 엔진으로, NVIDIA(CUDA)와 AMD(HIP) GPU를 모두 지원합니다. *추측 추론(speculative inference)*에 중점을 두고 있습니다: 토큰을 더 빠르게 사전 채우고 더 효율적으로 디코딩하는 맞춤형 커널로, 종종 경량 "드래프터(drafter)" 모델을 사용하여 전체 모델이 작업을 완료하기 전에 다음 토큰을 예측합니다. 이 프로젝트는 다양한 최적화(DFlash2, DSpark, PFlash, KVFlash, Megakernel 등)와 즉시 사용 가능한 모델-하드웨어 프로필 세트를 제공합니다.

주요 기능

추측 사전 채우기 및 디코딩 – 드래프터가 메인 모델보다 앞서 실행되어 사전 채우기 지연 시간을 최대 6배 줄이고 디코딩 속도를 몇 배 향상시킵니다.
하드웨어별 커널 – 소비자용 Radeon R9700, RTX 3090/4090/5090부터 DGX-Spark 및 Jetson AGX Thor까지 다양한 GPU/APU에 맞게 튜닝되었습니다.
이기종 실행 – 여러 장치에 작업을 분할할 수 있으며(예: 드래프터용 AMD GPU와 메인 모델용 다른 GPU), 매우 긴 컨텍스트를 위해 SSD 상주 "전문가"를 사용할 수도 있습니다.
페이지 어텐션 및 연속 배칭 – 많은 클라이언트 요청을 낮은 오버헤드로 유지하여 채팅형 워크로드 서빙에 유용합니다.
비전 지원 – 이미지-질문 파이프라인이 통합되어 동일한 엔진에서 멀티모달 추론이 가능합니다.
모델 비종속적 – GGUF 호환 체크포인트와 모두 호환됩니다. README에는 수십 개의 테스트된 모델(Qwen 3.8 27B, DeepSeek V4, Laguna XS 33B, Gemma 4 26/31B 등)과 해당 드래프터/양자화가 나열되어 있습니다.

성능 하이라이트(README에서 발췌)

하드웨어	모델	속도
Radeon R9700	Qwen 3.8 27B (DFlash2)	208 tok/s (HumanEval)
RTX 5090	Qwen 3.8 27B	26k 토큰 프롬프트에서 110 tok/s
2× RTX 3090 (NVLink)	Qwen 3.8 + DFlash2	79.7 tok/s, 디코딩 2.16배 빠름
AMD 혼합 (R9700 + Strix Halo)	DeepSeek V4	86 tok/s 디코딩, 788 tok/s 사전 채우기
비전 (R9700 + Strix Halo)	Qwen 3.8 27B 비전	3.2배 처리량 vs DGX Spark

시작하는 방법

설치 – 저장소는 시스템에 따라 CUDA 또는 HIP를 자동으로 선택하는 CMake 빌드 파일을 제공합니다.
프로필 선택 – server/docs/RECOMMENDED_SETUPS.md 파일에는 각 GPU/모델 조합에 대한 즉시 사용 가능한 명령줄 플래그가 나열되어 있습니다(예: --profile ds41-lucebox).
서버 실행 – 코드에 경량 HTTP 서버가 포함되어 있어 표준 OpenAI 호환 채팅/완성 요청을 보낼 수 있습니다.
확장 – 모듈식 커널 설계를 통해 새로운 추측 드래프터를 추가하거나 다른 양자화 형식을 통합할 수 있습니다.

사용 대상

단일 소비자 GPU에서 최대한 빠른 추론을 원하는 연구자나 취미 개발자.
많은 동시 사용자에게 낮은 지연 시간이 필요한 비공개 LLM 서비스를 구축하는 개발자.
데이터센터급 서버를 구매하지 않고 추측 디코딩, 혼합 장치 파이프라인 또는 멀티모달(이미지-텍스트) 추론을 실험하고 싶은 모든 사람.

더 많은 정보를 찾을 수 있는 곳

웹사이트 및 블로그 – https://www.lucebox.com/ (상세 벤치마크 글)
모델 가중치 – Hugging Face의 Lucebox 조직 아래 호스팅됩니다.
커뮤니티 – 배지 바의 Discord 링크에서 실시간 도움말과 성능 팁을 얻을 수 있습니다.

위의 모든 정보는 저장소 README에서 직접 가져온 것이며, 외부 가정은 추가되지 않았습니다.

Luce-Org/lucebox

Lucebox – 소비자 GPU와 이기종 시스템을 위한 고성능 LLM 추론 엔진

관련