Strix Halo Guide – AMD Ryzen AI MAX+ 395 노트북용 로컬 LLM 설정

프로젝트 소개

Strix Halo Guide는 Ryzen AI MAX+ 395 NPU와 Radeon 8060S GPU(gfx1151)를 탑재한 Strix Halo 노트북/워크스테이션이라는 특정 AMD 하드웨어에서 대규모 언어 모델(LLM)을 설치하고 벤치마킹하기 위한 단계별 오픈소스 가이드입니다. 이 저장소에는 모델 가중치나 컴파일된 바이너리가 포함되어 있지 않으며 다음만 제공합니다:

• Ubuntu 24.04 설치 지침(BIOS 조정, 커널 매개변수, 드라이버 설정).
• 통합 GPU/NPU를 사용하도록 Ollama 서버와 llama.cpp Vulkan/RADV 백엔드를 구성하는 스크립트.
• 8B 매개변수 MoE 모델부터 284B 매개변수 GGUF 모델까지 다양한 모델에 대한 재현 가능한 벤치마크 데이터(CSV 파일, 원시 로그, 차트).
• 작동하는 채팅 인터페이스를 얻기 위한 "빠른 시작" 6단계 체크리스트와 특정 사용 사례에 가장 적합한 모델/백엔드 조합을 설명하는 상세 페이지.
• 투명한 증거 체인: 모든 주요 주장은 이를 생성한 정확한 명령줄, 하드웨어 메타데이터 및 원시 로그 파일에 연결됩니다.

요약하자면, Strix Halo 머신을 소유하고 로컬에서 LLM을 실행하려는 모든 사람을 위한 실용적이고 증거 기반의 핸드북으로, 재현성과 커뮤니티 검증 성능 수치에 중점을 둡니다.

---

대상 독자

대상	이점
Strix Halo / Ryzen AI MAX+ 395 소유자	하드웨어의 통합 GPU/NPU에서 실제로 작동하는 복사-붙여넣기 가능한 Ubuntu + Vulkan 설정을 제공합니다.
AMD의 로컬 AI 플랫폼을 평가하는 연구자 또는 개발자	다른 하드웨어와 비교할 수 있는 독립적인 벤치마크 데이터(프롬프트 처리량, 생성 처리량, 전력, 메모리 사용량)를 제공합니다.
구매자 또는 리뷰어	하드웨어 적합성, 전력/열 기대치, 96GB-128GB 통합 메모리에서 가능한 모델을 요약합니다.
기여자	명확한 기여 가이드, 재현성 체크리스트, 미해결 테스트 항목(예: ROCm/vLLM 버그) 목록을 제공합니다.

---

핵심 기능(README에 설명됨)

1. 전체 Ubuntu 24.04 + 커널 구성 – BIOS UMA 프레임 버퍼, IOMMU, GRUB 커널 매개변수(amdgpu.gttsize, ttm.pages_limit, amdgpu.cwsr_enable).
2. GPU/NPU 지원 Ollama – 통합 Radeon 8060S가 추론에 사용되도록 환경 변수(OLLAMA_VULKAN=1, OLLAMA_IGPU_ENABLE=1, HIP_VISIBLE_DEVICES=-1) 설정.
3. llama.cpp Vulkan/RADV 백엔드 – AMD의 RADV 드라이버로 llama.cpp를 빌드하고 실행하는 스크립트. 서버 없이 직접 GPU 추론 가능.
4. 벤치마크 증거 – 각 모델/백엔드 조합의 정확한 토큰/초(t/s) 수치를 보여주는 CSV 파일(headline_claims.csv, best_known_profiles.csv 등) 및 원시 로그 디렉토리.
5. 모델별 결정 페이지 – 예: QWEN38_STRIX_HALO.md는 Qwen 3.8 27B의 측정된 20.42 t/s 생성 속도가 커뮤니티 보고 수치와 다른 이유를 설명.
6. 크로스 OEM 검증 – 13개 시스템과 10명의 커뮤니티 기여자의 결과가 수집되어 작성자의 주요 Beelink GTR9 Pro 데이터와 별도로 유지됩니다.
7. 재현성 워크플로우 – setup.sh가 설치를 자동화하지만 README는 수동 검토, 버전 고정, 각 변경 사항을 취소하는 방법을 강조합니다.
8. 투명성 및 독립성 – 제휴 링크 없음. 모든 업스트림 기여가 나열됩니다(UPSTREAM_CONTRIBUTIONS.md).

---

시작하기(빠른 시작 6단계)

1. BIOS – UMA 프레임 버퍼를 512MiB(최소가 2GiB인 경우 해당 값)로 설정. 의도적으로 데스크톱 벤치마크 프로필을 사용하지 않는 한 IOMMU는 활성 상태로 유지.
2. Ubuntu 24.04 LTS 설치 – X11은 선택적 데스크톱 UI에만 필요. 헤드리스 추론은 문제없이 작동.
3. 메모리 프로필 커널 인수 적용 – amdgpu.gttsize=131072 ttm.pages_limit=31457280 amdgpu.cwsr_enable=0(128GB 시스템용).
4. Mesa/RADV 드라이버 설치 – kisak-mesa PPA를 통해. 선택적으로 성능을 위해 tuned 전원 프로필 활성화.
5. Ollama 설치 – Vulkan 및 iGPU 환경 변수를 설정하고 모델을 풀링(예: ollama run qwen3.6:35b-a3b).
6. 테스트 실행 – 제공된 bench-ollama.sh 스크립트가 토큰 처리량을 측정하고 CSV 증거와 비교합니다.

저장소에는 3-5단계를 자동으로 수행하는 setup.sh 스크립트도 포함되어 있습니다. README는 실행 전에 스크립트를 검토할 것을 권장합니다.

증거 및 성능 하이라이트(2026년 10월 1일 기준)

모델 / 백엔드	토큰 처리량(t/s)	수치 의미
Qwen 3.8 27B(Q4_K_M) – Ollama API, 기본 MTP 드래프팅 포함	20.42 t/s 생성(드래프팅 없음 12.89 t/s)	Ollama 0.31.2에서 측정. 50k 프롬프트 토큰, 이미지 및 도구 사용 포함.
Qwen 3-Coder 30B-A3B(Q4_K_S) – 직접 llama.cpp Vulkan	100.99 t/s(tg128)	가장 빠른 30B 클래스 직접 경로. 속도 우선 양자화.
DeepSeek V4 Flash 284B(UD-IQ2_XXS) – 직접 GGUF	13.27 tg128	용량 증명. 모델은 90.86GB 저비트 아티팩트로 로드됨.
LFM2.5 8B-A1B(Q4_K_M) – 소형 MoE – llama.cpp	170 t/s 생성 전용	소형 MoE 모델이 이 하드웨어에서 100t/s를 초과할 수 있음을 보여줍니다.

---

강점 및 한계(요약)

강점

• AMD 통합 AI에 드문 매우 상세한 하드웨어별 지침.
• 투명한 벤치마크 파이프라인. 모든 주요 주장은 원시 로그로 뒷받침됩니다.
• 커뮤니티 기반 크로스 시스템 데이터는 단일 테스트 박스를 넘어 신뢰도를 높입니다.
• 오픈소스 스크립트(setup.sh, bench-ollama.sh)로 재현이 간편.

한계

• 범위가 Strix Halo / Ryzen AI MAX+ 395 하드웨어로 제한됩니다. 다른 AMD 노트북이나 비Ubuntu OS에서는 즉시 작동하지 않습니다.
• 일부 스크립트는 실행 취소 작업에 대해 "하드웨어에서 테스트되지 않음"으로 표시되어 있어 사용자가 수동 Linux 구성에 익숙해야 합니다.
• 성능 수치는 특정 Ollama/llama.cpp 버전에 따라 달라집니다. 새 릴리스는 새로 설치 검증 단계가 필요합니다.

---

유지 관리자

유지 관리자는 여러 업스트림 프로젝트(예: llama.cpp PR #25643, AMD 후원 Lemonade 서버)에 기여했으며 해당 기여는 UPSTREAM_CONTRIBUTIONS.md에 나열되어 있습니다. 저장소는 MIT 라이선스이며 작성자는 AMD의 공식 보증이 없음을 명시합니다.

결론

Strix Halo 노트북 또는 워크스테이션을 소유하고 로컬에서 LLM을 실행하려는 경우 Strix Halo Guide는 새로운 Ubuntu 설치부터 작동하는 Ollama 또는 llama.cpp 추론 서버까지 재현 가능하고 증거 기반의 경로를 제공하며, 다양한 모델과 백엔드를 비교할 수 있는 벤치마크 데이터도 포함합니다. 이는 AI 로컬 추론 분야의 진정하고 매우 집중된 소프트웨어 엔지니어링 프로젝트입니다.