Strix Halo 指南 – AMD Ryzen AI MAX+ 395 笔记本电脑的本地 LLM 设置

项目内容

Strix Halo Guide 是一份逐步指导的开源指南，用于在特定的 AMD 硬件——搭载 Ryzen AI MAX+ 395 NPU 和 Radeon 8060S GPU（gfx1151）的 Strix Halo 笔记本电脑/工作站上安装和基准测试大型语言模型（LLM）。该仓库不包含模型权重或编译后的二进制文件，仅提供：

• Ubuntu 24.04 安装说明（BIOS 调整、内核参数、驱动设置）。
• 配置 Ollama 服务器和 llama.cpp Vulkan/RADV 后端以使用集成 GPU/NPU 的脚本。
• 一系列模型的可复现基准数据（CSV 文件、原始日志、图表）——从 8B 参数的 MoE 模型到 284B 参数的 GGUF 模型。
• 获取可用聊天界面的“快速入门”6 步清单，以及解释针对特定用例最佳模型/后端组合的详细页面。
• 透明的证据链：每个主要声明都链接到生成它的确切命令行、硬件元数据和原始日志文件。

简而言之，这是一本实用、以证据为驱动的手册，适用于任何拥有 Strix Halo 机器并希望在本地运行 LLM 的人，重点强调可复现性和社区验证的性能数据。

---

目标读者

受众	受益原因
Strix Halo / Ryzen AI MAX+ 395 的所有者	提供可在硬件集成 GPU/NPU 上实际工作的即复制粘贴型 Ubuntu + Vulkan 设置。
评估 AMD 本地 AI 平台的研究人员或开发人员	提供可与其他硬件比较的独立基准数据（提示吞吐量、生成吞吐量、功耗、内存占用）。
购买者或评测者	总结硬件适配性、功耗/散热预期，以及 96GB-128GB 统一内存上可行的模型。
贡献者	清晰的贡献指南、可复现性清单和未解决测试项目列表（例如 ROCm/vLLM 错误）。

---

核心功能（README 中描述）

1. 完整的 Ubuntu 24.04 + 内核配置 – BIOS UMA 帧缓冲、IOMMU、GRUB 内核参数（amdgpu.gttsize、ttm.pages_limit、amdgpu.cwsr_enable）。
2. GPU/NPU 启用的 Ollama – 环境变量（OLLAMA_VULKAN=1、OLLAMA_IGPU_ENABLE=1、HIP_VISIBLE_DEVICES=-1），使集成 Radeon 8060S 用于推理。
3. llama.cpp Vulkan/RADV 后端 – 使用 AMD RADV 驱动构建和运行 llama.cpp 的脚本，无需服务器即可直接进行 GPU 推理。
4. 基准证据 – 显示每个模型/后端组合准确 tokens/s (t/s) 数值的 CSV 文件（headline_claims.csv、best_known_profiles.csv 等）和原始日志目录。
5. 模型特定决策页面 – 例如，QWEN38_STRIX_HALO.md 解释了为什么 Qwen 3.8 27B 的 20.42 t/s 生成速度与社区报道的数字不同。
6. 跨 OEM 验证 – 收集了来自 13 个不同系统和 10 位社区贡献者的结果，并与作者主要的 Beelink GTR9 Pro 数据分开保存。
7. 可复现工作流 – setup.sh 自动执行安装，但 README 强调手动审查、版本固定以及如何撤销每个更改。
8. 透明与独立 – 无联盟链接；所有上游贡献均已列出（UPSTREAM_CONTRIBUTIONS.md）。

---

快速入门（6 步）

1. BIOS – 将 UMA 帧缓冲设置为 512 MiB（如果最小值是该值，则为 2 GiB）。除非刻意使用桌面基准配置文件，否则保持 IOMMU 启用。
2. 安装 Ubuntu 24.04 LTS – X11 仅需用于可选的桌面 UI；无头推理即可正常工作。
3. 应用内存配置文件内核参数 – amdgpu.gttsize=131072 ttm.pages_limit=31457280 amdgpu.cwsr_enable=0（适用于 128GB 系统）。
4. 安装 Mesa/RADV 驱动 – 通过 kisak-mesa PPA；可选地启用 tuned 电源配置文件以提升性能。
5. 安装 Ollama – 设置 Vulkan 和 iGPU 环境变量，然后拉取模型（例如 ollama run qwen3.6:35b-a3b）。
6. 运行测试 – 提供的 bench-ollama.sh 脚本测量令牌吞吐量并与 CSV 证据进行比较。

仓库还附带 setup.sh 脚本，可自动执行第 3-5 步；README 建议在执行前审查脚本。

证据与性能亮点（截至 2026 年 10 月 1 日）

模型 / 后端	令牌吞吐量 (t/s)	数字代表什么
Qwen 3.8 27B（Q4_K_M） – Ollama API，默认 MTP 起草	20.42 t/s 生成（无起草 12.89 t/s）	在 Ollama 0.31.2 上测量；包括 50k 提示令牌、图像和工具调用。
Qwen 3-Coder 30B-A3B（Q4_K_S） – 直接 llama.cpp Vulkan	100.99 t/s（tg128）	最快的 30B 级直接路径；速度优先的量化。
DeepSeek V4 Flash 284B（UD-IQ2_XXS） – 直接 GGUF	13.27 tg128	容量证明；模型作为 90.86GB 低位工件加载。
LFM2.5 8B-A1B（Q4_K_M）– 小 MoE – llama.cpp	170 t/s 仅生成	展示小 MoE 模型在此硬件上可超过 100 t/s。

---

优势与局限（总结）

优势

• 极其详细、硬件特定的说明——在 AMD 集成 AI 中罕见。
• 透明的基准管道；每个主要声明都有原始日志支持。
• 社区驱动的跨系统数据增加了超越单一测试机的信心。
• 开源脚本（setup.sh、bench-ollama.sh）使复现变得容易。

局限性

• 适用范围仅限于 Strix Halo / Ryzen AI MAX+ 395 硬件；指南在其他 AMD 笔记本电脑或非 Ubuntu 操作系统上无法开箱即用。
• 某些脚本的撤销操作被标记为“未在硬件上测试”，因此用户必须熟悉手动 Linux 配置。
• 性能数据与特定 Ollama/llama.cpp 版本相关；新版本需要重新安装合格性步骤。

---

维护者

维护者已为多个上游项目做出贡献（例如 llama.cpp PR #25643、AMD 赞助的 Lemonade 服务器），并在 UPSTREAM_CONTRIBUTIONS.md 中列出了这些贡献。仓库采用 MIT 许可证，作者明确表示未经 AMD 官方认可。

结论

如果您拥有 Strix Halo 笔记本电脑或工作站并希望在本地运行 LLM，Strix Halo Guide 为您提供了一条可复现、有据可查的路径，从全新 Ubuntu 安装到可用的 Ollama 或 llama.cpp 推理服务器，同时提供基准数据，让您可以比较不同模型和后端。这是一个真正、高度聚焦的 AI 本地推理领域的软件工程项目。