akandr/bc250

解決する課題

AMD BC-250 は、16 GB のユニファイドメモリを搭載した希少な AMD APU (Cyan Skillfish) を中心に構築された、忘れ去られた暗号資産マイニングボードです。このチップに対する市販のソフトウェアサポートはほとんど存在せず、公式の ROCm コンピュートは機能しません。唯一の信頼できる GPU パスは Vulkan です。本プロジェクトでは、この放置されたボードを、最大 35B パラメータのモデルをローカルで実行可能な高性能なヘッドレス AI サーバーに変える方法を文書化しています。Mixture-of-Experts モデルでは毎秒 78.7 トークンという速度を実現します。また、このハードウェアで Vulkan 推論を機能させるための実用的な問題を解決し、より大きなモデルのロードを妨げる 2 つのカーネルメモリ制限を解除し、GPU の全 40 コンピュートユニットを解放します（工場出荷時のファームウェアでは 24 しか公開されていません）。さらに、完全に自律的なホーム AI システムのためのソフトウェアスタックとベンチマークを提供します。これには、視覚と音声に対応した Signal チャットボット、画像生成、数百の自動ジョブを実行するネットワークスキャナー、キャリアインテリジェンスダッシュボードが含まれます。

仕組み

本プロジェクトは、包括的なガイドと一連のスクリプトで構成されています。ハードウェアは BC-250 ボードです。Zen 2 CPU（6 コア）、CPU と GPU で共有される 16 GB の GDDR6 メモリを搭載した GFX1013 GPU（非公式に「RDNA 1.5」と呼ばれる）、およびメモリ構成を解放するコミュニティパッチ済みの BIOS を使用します。ソフトウェアスタックは、Mesa 25.3.4 の Vulkan ドライバー (RADV) と、推論用の Ollama / llama.cpp を使用します。著者はカーネルパラメータ ttm.pages_limit を調整し、GPU メモリ制限を約 7.4 GiB から 16 GiB 全体に引き上げました。これは 14B 以上のモデルを実行するために必要です。コミュニティカーネルパッチが 40 CU を解放し、oberon ガバナーが GPU クロック（上限 1500 MHz）を制御します。リポジトリには、ベンチマークハーネス、自律監視システム (netscan) を実行するためのスクリプトペア（キューランナーを介して 330 のジョブを実行）、メッセージを適切なモデル（チャット、視覚、音声文字起こし）にルーティングする Signal ボット、および FLUX.2-klein-9B を使用した画像生成パイプラインが含まれています。すべて正確なバージョン、トラブルシューティング手順、および測定されたパフォーマンスの統計的検証とともに文書化されています。

対象読者

AMD BC-250 ボード（または同様の希少な AMD APU）を所有または購入予定で、クラウドに頼らずにローカルで LLM を実行したい技術的好奇心旺盛なユーザー向けです。また、推論バックエンドとしての Vulkan に興味がある方や、ユニファイドメモリと限られたソフトウェアサポートを持つハードウェア上で LLM のパフォーマンスを最適化したい方にも価値があります。ドキュメントは Linux、コマンドライン、および基本的なハードウェア概念の実用的な知識を前提としていますが、量子化、1 秒あたりのトークン数、コンテキストウィンドウなどの LLM 用語を説明する用語集が含まれています。

ハイライト

• 40-CU 解放: コミュニティカーネルパッチにより、マスクされていた 16 個のコンピュートユニットが再有効化され、11 モデル全体でトークン生成速度が中央値で 1.32 倍、プロンプト処理速度が 1.50 倍に向上しました。
• Vulkan 専用推論: ROCm サポートの欠如を回避し、40 CU で Qwen3.5 35B MoE に対して 78.7 tok/s、ハイブリッド Mamba モデルに対して 129.2 tok/s の速度を達成しました。
• 長いコンテキストの処理: メモリ調整と 40-CU 解放のおかげで、64K のコンテキストを埋めたモデルが動作し、すべての階層でニードル検索に成功します。
• MoE の洞察: スカラーハードウェアでは、Mixture-of-Experts モデルはアクティブパラメータ数にほぼ比例してデコードされるため、同じ量子化の密なモデルと比較して約 6 倍の速度優位性があります。
• 完全な自律スタック: 視覚と音声を備えた Signal チャットボット、画像生成器、130 ページのダッシュボードを備えた 330 ジョブのネットワークスキャナー、およびキャリアインテリジェンススキャナーが含まれています。
• 包括的なベンチマーク: 生成速度、品質、コンテキストスケーリング、コールドスタートタイミング、量子化の影響にわたって 31 モデルをテストし、すべて統計的検証とルーフライン分析を行っています。