hogeheer499-commits/strix-halo-guide

Evidence-backed AMD Strix Halo local-AI setup and benchmarks: Qwen3.8, Ollama, llama.cpp, Vulkan/ROCm, large GGUFs, and cross-OEM results.

解决的问题

本项目为在 AMD Strix Halo / Ryzen AI MAX+ 395 系统上设置和优化本地大型语言模型（LLM）提供了一份全面且独立的技术指南。它解决了配置 BIOS、操作系统和驱动程序以充分利用 Radeon 8060S GPU 和统一内存（96GB/128GB）进行高性能 AI 推理的困难。

如何工作

该指南提供了一步一步的设置流程，包括 Ubuntu 24.04、用于内存管理的特定内核参数，以及安装 kisak Mesa PPA 以获取更新的驱动程序。它专注于使用 Vulkan/RADV 后端运行 Ollama 和 llama.cpp 等工具，确保使用 iGPU 而非回退到 CPU。此外，还包含一组精选的「最佳已知配置」和基准测试，帮助用户根据自身需求（例如速度 vs. 质量）选择合适的模型和后端。

适用人群

  • AMD Strix Halo / Ryzen AI MAX 系统的所有者或评估者。
  • 希望在 AMD 硬件上运行本地 AI 的开发者。
  • 寻求本地 LLM 部署独立、基于证据的性能数据的用户。

主要亮点

  • 自动化设置：包含 setup.sh 脚本，可快速部署 Linux 端的 Vulkan/RADV + Ollama 堆栈。
  • 基于证据的基准测试：将每个性能声明映射到原始日志和 CSV 文件，包括对 Qwen 和 Gemma 等模型的测试。
  • 容量证明：展示了运行超大模型（如 DeepSeek V4 Flash 284B GGUF）的能力。
  • 跨 OEM 验证：包含来自 13 台不同系统的社区结果，确保在不同硬件厂商间的可移植性。
  • 代码化工作流：提供经验证的路径，使用 ROCm 7.2 Unsloth 路径进行模型微调和导出。

相关

  • Dispatch
    AMD Strix Halo RDMA 集群搭建指南

    一份关于如何使用 Intel E810 RoCE v2 NIC 配置两个节点的 AMD Strix Halo 集群，以通过张量并行实现分布式 vLLM 推理的技术指南。

  • Dispatch
    llama.cpp 和 llama.app：本地 LLM 推理与生态系统

    llama.cpp 及其官方主页 llama.app 提供高性能、与硬件无关的本地 LLM 推理，现在新增了简化的 'llama serve' 命令并集成了 Pi 等本地编码代理。

  • Dispatch
    vLLM 在 AMD GPU 上的推测解码：性能与方法

    vLLM 为 AMD Instinct MI300X/MI355X GPU 添加了推测解码功能，允许轻量级草稿模型提出多个标记，由目标模型在一次前向传播中验证，根据草稿方法、模型家族和提议长度的不同，可使输出标记吞吐量翻倍甚至更高。

  • 项目
    jmaczan/tiny-vllm

    tiny‑vllm 是一个开源的 C++/CUDA LLM 推理引擎（支持可选 AMD‑HIP），从 Safetensors 加载 Llama 3.2 1B 模型，并实现完整的前向传播——包括嵌入、RMSNorm、RoPE、分组查询注意力、Flash 风格 softmax 和分页 KV 缓存等自定义内核。它同时也是一个逐步教学教程，涵盖 Transformer 推理的每个组件，专为学习者和教育者设计。

  • 项目
    xLLM-AI/xllm

    xLLM 是一个开源 C++ 推理框架，可在 Ascend、Cambricon、Moore Threads 等中国AI加速器上实现高吞吐、低延迟的 LLM 服务。它将基于 brpc 的服务层与硬件优化引擎分离，集成 Mooncake 实现混合 KV 缓存管理，并为 GLM-5.3-Flash 和 MiniMax-M3 等模型提供开箱即用的部署脚本。项目采用 Apache-2.0 许可证，由 JD.com 及多家中国大学实验室支持。