akandr/bc250

解决的问题

AMD BC-250 是一块被遗忘的加密货币挖矿板，围绕一颗罕见的 AMD APU (Cyan Skillfish) 构建，拥有 16 GB 统一内存。该芯片的零售软件支持几乎不存在——官方的 ROCm 计算无法工作，唯一可靠的 GPU 路径是 Vulkan。本项目记录了如何将这块废弃的板卡变成一台功能强大的无头 AI 服务器，在本地运行大型语言模型（包括高达 35B 参数的模型），对于混合专家模型 (MoE)，速度可达每秒 78.7 个 token。它还解决了在此硬件上实现 Vulkan 推理的实际问题，解除了限制更大模型加载的两个内核内存限制，并解锁了 GPU 的全部 40 个计算单元（出厂固件仅暴露 24 个）。此外，它还为完全自主的家庭 AI 系统提供了软件栈和基准测试：一个带有视觉和音频功能的 Signal 聊天机器人、图像生成、一个运行数百个自动化作业的网络扫描器，以及一个职业智能仪表板。

工作原理

该项目是一套全面的指南和脚本集合。硬件是 BC-250 板：一个 Zen 2 CPU（6 核），一个 GFX1013 GPU（非正式称为 "RDNA 1.5"），拥有 16 GB GDDR6 内存（CPU 和 GPU 共享），以及一个解锁内存配置的社区补丁 BIOS。软件栈使用来自 Mesa 25.3.4 的 Vulkan 驱动程序 (RADV) 以及用于推理的 Ollama / llama.cpp。作者调整了内核参数 ttm.pages_limit，将 GPU 内存限制从约 7.4 GiB 提高到完整的 16 GiB，这是运行 14B 及更大模型所必需的。一个社区内核补丁解锁了 40 个 CU，oberon 调速器控制 GPU 时钟（上限为 1500 MHz）。该存储库包括基准测试工具、一对用于运行自主监控系统 (netscan) 的脚本（通过队列运行器执行 330 个作业）、一个将消息路由到适当模型（聊天、视觉、音频转录）的 Signal 机器人，以及一个使用 FLUX.2-klein-9B 的图像生成流水线。所有内容都记录了确切的版本、故障排除步骤以及测量性能的统计验证。

适用人群

这适用于拥有或计划购买 AMD BC-250 板（或类似罕见 AMD APU）并希望在不依赖云的情况下运行本地 LLM 的技术好奇用户。对于任何对将 Vulkan 作为推理后端感兴趣，或对在具有统一内存和有限软件支持的硬件上优化 LLM 性能感兴趣的人来说，它也很有价值。文档假设读者具备 Linux、命令行和基本硬件概念的工作知识，但它包含了一个词汇表，解释了诸如量化、每秒 token 数和上下文窗口等 LLM 术语。

亮点

• 40-CU 解锁：社区内核补丁重新启用了 16 个被屏蔽的计算单元，在 11 个模型中，token 生成速度平均提升了 1.32 倍，提示处理速度提升了 1.50 倍。
• 仅限 Vulkan 的推理：绕过了缺乏 ROCm 支持的问题，在 40 CU 下，Qwen3.5 35B MoE 的速度达到 78.7 tok/s，混合 Mamba 模型达到 129.2 tok/s。
• 长上下文处理：得益于内存调整和 40-CU 解锁，模型在填充 64K 上下文时运行良好，且在每一层级上都能成功进行针检索。
• MoE 洞察：在标量硬件上，混合专家模型的解码速度大致相当于其活动参数计数，在相同量化下比密集模型具有约 6 倍的速度优势。
• 全自主栈：包括一个带有视觉和音频的 Signal 聊天机器人、一个图像生成器、一个带有 130 页仪表板的 330 作业网络扫描器，以及一个职业智能扫描器。
• 全面基准测试：在生成速度、质量、上下文缩放、冷启动时间和量化影响方面测试了 31 个模型，所有测试均包含统计验证和屋顶线分析。