gufo-org/gufo

Gufo – AMD Strix Halo GPU를 위한 로컬 추론 엔진

개요 – Gufo는 AMD의 Strix Halo 가속기(Radeon 8060S를 탑재한 Ryzen AI MAX+ 395)에서 대규모 언어, 비전 및 오디오 모델을 실행하는 C++ 기반 추론 서버입니다. OpenAI 채팅 완성 API를 사용하므로 기존 도구(VS Code, Open WebUI, curl 등)가 클라우드 서비스처럼 사용할 수 있습니다.

주요 기능

• 하드웨어 특화 최적화 – 커널은 gfx1151 GPU에 맞게 수동 튜닝되었으며, ROCm HIP, hipBLAS/hipBLASLt 및 기타 AMD 라이브러리를 사용합니다. 엔진은 128GiB 통합 메모리 구성에 맞게 제작되었지만 더 작은 카드에서도 작동합니다.
• 모델 카탈로그 – 여러 최신 모델(Qwen 3.8 27B, Qwen 3.8 Flash-Next, DeepSeek V4 Flash, Qwen 3-ASR, Qwen 3-TTS 등)에 대한 즉시 실행 가능한 GGUF 체크포인트를 제공합니다. 벤치마크 및 품질 보고서는 docs/models 폴더에 있습니다.
• 추측 디코딩 – DFlash2, MTP 및 DSpark 추측 모드를 지원하여 초당 토큰 처리량을 크게 향상시킵니다(예: Qwen 3.8 27B의 경우 프롬프트당 656tok/s).
• 멀티모달 지원 – 텍스트, 이미지, 오디오(ASR/TTS), 실험적인 비디오/오디오 생성.
• 컨테이너 배포 – 사전 빌드된 OCI 이미지(ghcr.io/gufo-org/toolboxes/gufo-runtime)를 Podman으로 실행하여 포트 8080에서 서비스를 노출할 수 있습니다.
• 동시 요청 처리 – 일괄 처리, 취소 및 대화 캐싱을 기본적으로 지원하도록 설계되었습니다.

시작 방법

1. README에 표시된 hf download 명령을 사용하여 Hugging Face에서 모델을 다운로드합니다.
2. 런타임 컨테이너를 풀하고 필요한 GPU 장치(/dev/kfd, /dev/dri)로 실행합니다.
3. 다운로드한 GGUF 파일과 선택적으로 추측 모델 파일을 가리키는 gufo serve llm … 명령으로 서버를 시작합니다.
4. http://localhost:8080/v1/chat/completions에 간단한 curl POST로 API를 쿼리합니다.

README에는 소스에서 Gufo를 빌드하는 방법(Nix 또는 기존 CMake), 필요한 ROCm 라이브러리, SELinux 또는 루트 없는 Podman 권한 처리 방법도 설명되어 있습니다.

대상 사용자 – Strix Halo 워크스테이션을 소유하고 클라우드 GPU에 의존하지 않고 빠르고 로컬에서 호스팅되는 AI 서비스를 원하는 개발자와 연구자. AMD 하드웨어를 위한 "로컬 OpenAI 호환 엔드포인트"라는 틈새를 채우며, CPU용 llama.cpp와 유사합니다.

라이선스 – 핵심 코드는 MIT 라이선스입니다. 타사 구성 요소는 자체 고지 사항을 유지합니다. 모델 가중치는 포함되지 않으며 원래 게시자의 조건에 따릅니다.