hogeheer499-commits/strix-halo-guide

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama.cpp, Vulkan/ROCm, large GGUFs, and cross-OEM results.

解決的問題

本專案為在 AMD Strix Halo / Ryzen AI MAX+ 395 系統上設定與最佳化本地大型語言模型（LLM）提供一份全面且獨立的技術指南。它解決了配置 BIOS、作業系統與驅動程式，以充分利用 Radeon 8060S GPU 與統一記憶體（96GB/128GB）進行高效率 AI 推論的困難。

如何運作

該指南提供逐步設定流程，包含 Ubuntu 24.04、用於記憶體管理的特定核心參數，以及安裝 kisak Mesa PPA 以取得更新驅動程式。專注於使用 Vulkan/RADV 後端執行 Ollama 和 llama.cpp 等工具，確保使用 iGPU 而非回退至 CPU。此外，還包含一組精心挑選的「最佳已知設定」與基準測試，協助使用者根據自身需求（例如速度 vs. 質量）選擇合適的模型與後端。

適用對象

  • AMD Strix Halo / Ryzen AI MAX 系統的所有者或評估者。
  • 希望在 AMD 硬體上執行本地 AI 的開發者。
  • 尋求本地 LLM 部署之獨立、基於證據的性能資料的使用者。

主要亮點

  • 自動化設定：包含 setup.sh 指令碼，可快速部署 Linux 端的 Vulkan/RADV + Ollama 堆疊。
  • 基於證據的基準測試：將每個效能主張對應至原始日誌與 CSV 檔案，包含對 Qwen 和 Gemma 等模型的測試。
  • 容量證明：展示運行極大型模型（如 DeepSeek V4 Flash 284B GGUF）的能力。
  • 跨 OEM 驗證：包含來自 13 種不同系統的社群結果，確保在不同硬體廠商間的可移植性。
  • 程式化工作流程：提供經驗證的路徑，使用 ROCm 7.2 Unsloth 路徑進行模型微調與匯出。

相關

  • Dispatch
    AMD Strix Halo RDMA 叢集設定指南

    本指南說明如何使用 Intel E810 RoCE v2 NIC，設定雙節點 AMD Strix Halo 叢集，以透過張量平行化實現低延遲的分散式 vLLM 推論。

  • Dispatch
    llama.cpp 與 llama.app：本地 LLM 推論與生態系統

    llama.cpp 與其官方主頁 llama.app 提供高效能、與硬體無關的本地 LLM 推論，現在新增了簡化的 'llama serve' 指令並與 Pi 等本地編碼代理程式整合。

  • Dispatch
    vLLM 在 AMD GPU 上的預測性解碼：效能與方法

    vLLM 將預測性解碼引入 AMD Instinct MI300X/MI355X GPU，讓輕量級草稿模型提出多個 token，由目標模型在單一傳播中驗證，根據草稿方法、模型家族與提案長度的不同，輸出 token 吞吐量可提升一倍以上。

  • 專案
    jmaczan/tiny-vllm

    tiny‑vllm 是一個開源的 C++/CUDA LLM 推理引擎（支援可選 AMD‑HIP），從 Safetensors 加載 Llama 3.2 1B 模型，並實作完整的前向傳播——包含嵌入、RMSNorm、RoPE、分組查詢注意力、Flash 風格 softmax 與分頁 KV 快取等自訂內核。它同時也是一個逐步教學，涵蓋 Transformer 推論的每個元件，專為學習者與教育者設計。

  • 專案
    xLLM-AI/xllm

    xLLM 是一個開源 C++ 推理框架，可在 Ascend、Cambricon、Moore Threads 等中國AI加速器上實現高吞吐、低延遲的 LLM 服務。它將基於 brpc 的服務層與硬體優化引擎分離，整合 Mooncake 實現混合 KV 快取管理，並為 GLM-5.3-Flash 和 MiniMax-M3 等模型提供即時可用的部署腳本。專案採用 Apache-2.0 許可證，由 JD.com 及多家中國大學實驗室支援。