Soulmate-Halo/heterogeneous-gpu-pd-lab

使用稠密算力卡对稀疏大显存主机进行加速，主机包括 AI Max+ 395、M3 512G、DGX Spark 等。

TL;DR

Soulmate‑Halo/heterogeneous‑gpu‑pd‑lab は、大規模混合専門家（MoE）LLM推論を異なるGPUタイプに分割する方法を示す研究グレードのコードベースです。Dockerイメージ、デプロイメントガイド、および以下のような構成の生のベンチマークデータを提供します：

RTX 3080 + DGX Spark（Sparkでプリフィル、両GPUでデコードを共同実行）
RTX 3080 + AI Max 395（プリフィル高速化、iGPU/CPUでデコード）
6GPUパイプライン（プリフィル用にRTX 6000D×2、デコード用にDGX Spark×4）このリポジトリは、Qwen‑3.8‑Flash‑NextやDeepSeek‑V4.1‑Flashのような巨大なMoEモデルのプリフィルおよびデコードを高速化するために、異種GPUクラスターでの実験を希望するエンジニアを対象としています。

プロジェクトの内容

側面	詳細
目標	大規模MoE LLM向けの実用的な異種GPU推論（「PD」＝プリフィル‑デコード分割）を実証し、再現可能なDockerイメージを提供する。
主要概念	• 混合専門家（MoE） – ホットな専門家は高速GPUで、コールドな専門家は大メモリGPU/CPUで実行。 • プリフィル‑デコード（PD）分割 – 長いプロンプトは専用の「Pステージ」GPUクラスターでエンコードされ、その後コンテキストは生成のために「Dステージ」クラスターに引き渡されます。 • PP2パイプライン – 各ステージ内でテンソル並列（TP）を使用した2ステージパイプライン（プリフィル→デコード）（例：RTX 6000DでTP2、DGX SparkでTP4）。
対応ハードウェア	RTX 3080、RTX 6000D、AI Max 395（iGPU＋Zen5 CPU）、DGX Spark/GB10、NVIDIA H20（比較用に言及）。
使用モデル	Qwen‑3.8‑Flash‑Next（125 B MoE）およびDeepSeek‑V4.1‑Flash（因果エンコーダ‑デコーダ）。
成果物	• GitHub Container Registry上のDockerイメージ（例：`ghcr.io/soulmate-halo/heterogeneous-gpu-pd-lab/qwen38-flash-spark-3080:latest`）。 • ステップバイステップのコマンドを含むデプロイメントREADMEファイル。 • 生のベンチマークJSON/CSVファイルと12分の解説ビデオ。
ベンチマーク	6GPU構成でプリフィルスループット最大16 k tok/s、デコード最大~442 tok/s。RTX 3080とSparkを組み合わせるとデコードが2〜3倍高速化。すべての数値は未調整の生の測定値（追加の最適化なし）。
ライセンス / ステータス	抜粋には明記されていませんが、リポジトリはアクティブと思われます（2026年10月のリリース）。

有用な可能性のあるユーザー

対象	重要性
MLインフラエンジニア	異種クラスター向けのすぐ使えるDockerイメージと明確なデプロイメントスクリプト。カスタムPDパイプライン構築時の参照として有用。
研究ラボ	混合GPUハードウェア上のMoEモデルの具体的な性能数値を提供し、ハードウェア購入の正当化に役立ちます。
GPUベンダー / システムインテグレーター	GPU間のRDMAベースの専門家引き渡しの実世界のユースケースを示し、ドライバーや相互接続の最適化に役立ちます。
学生 / 愛好家	12分のビデオとステップバイステップのガイドで、マルチGPU MoE推論の実験の敷居を下げます。

始め方（クイックスタート概要）

デプロイメントバンドルを選択 – 例：RTX 3080＋Sparkコンボ用の qwen38-flash-spark-3080/。

Dockerイメージをプル：

docker pull ghcr.io/soulmate-halo/heterogeneous-gpu-pd-lab/qwen38-flash-spark-3080:latest

ホストを準備 – 対応するCUDA 13ドライバーをインストールし、RDMAを有効にし、モデルウェイトを配置します（イメージには同梱されていません）。READMEには正確なドライバーバージョンと環境変数が記載されています。
コンテナを実行 – READMEにはAPIルーターを起動しPDサービスを開始する一行のdocker runコマンドが提供されています。
テスト – 公開ポートにHTTPリクエストを送信します。ルーターはプリフィルをSparkに、デコードをRTX 3080にルーティングします。
結果を確認 – コンテナは診断情報を出力し、JSON証拠ファイル（v2-metrics.json、performance-v2.json）をダウンロードできます。

制限事項 / 注意点（説明どおり）

生の数値のみ – リポジトリは意図的にチューニングを避けており、実際のデプロイメントでは追加の最適化が必要になる可能性があります。
クロスホストKVエクスポート/インポートなし – ルーターはリクエストを再起動せずにSparkプリフィルから3080デコードに移動できません。
モデルウェイトは同梱されていません – 125 BのQwenまたはDeepSeekのウェイトは自分で入手する必要があります（公開HuggingFaceリンクが参照されています）。
ハードウェア固有 – パイプラインはRDMA、特定のPCIe/NVLink構成、およびリストされた正確なGPUモデルに依存します。
ベンチマークの再現性 – 一部の実行（例：V2デコード）のログが欠落しているため、正確な再現には作者への連絡が必要になる場合があります。

結論

heterogeneous-gpu-pd-lab は、巨大なMoE LLMの異種GPU推論のための再現可能なセットアップを文書化し提供する、本格的でエンジニアリング重視のオープンソースプロジェクトです。単一GPUデプロイメントの性能限界を超えようとする人々、特に長いプロンプトのプリフィルがボトルネックとなる場合に価値があります。

すべての記述は提供されたREADMEから直接取得しており、外部の推測は追加されていません。