GLM-5.3-Flash 推論インフラストラクチャ：AIエージェントが10万アクセラレーターサービスを構築した方法

TL;DR

GLM‑5.3‑Flashの推論サービスは、2週間未満で10万以上の中国製AIアクセラレーターのクラスタ上で完全に新規に構築された。その大部分の作業を担ったのは、GLM‑5.3で駆動されるInfra Agent（GLM‑5.3を活用したコーディングアシスタント）である。積極的なメモリ最適化、カスタムのEncode‑Prefill‑Decodeアーキテクチャ、そして疎なエンドツーエンドメトリクスを細粒度で実行可能な信号に変換する「密なフィードバック」ループを組み合わせることで、チームはスループットを3倍にし、主流のNVIDIA GPUと同等のハードウェア効率を達成した。

1. GLM‑5.3‑Flashのインフラストラクチャが重要な理由

このシステムは再帰的自己改善（RSI） への具体的な一歩を示している：自身の後継モデルを訓練するためのハードウェア・ソフトウェアを設計・構築・最適化するモデルの実現。
これまで未検証だったハードウェアスタック（中国製アクセラレーター）上でプロダクションレベルのパフォーマンスを達成したことは、大規模AI推論がNVIDIA主導のエコシステムから分離可能であることを証明している。
3倍のスループット向上と6日間で62兆トークンを処理した事実は、AI駆動のインフラエンジニアリングが開発サイクルを劇的に短縮できることを示している。

2. 10万アクセラレータクラスタをゼロから構築する

ハードウェア制約：オンチップメモリが限界、帯域幅が狭く、カーネルサポートが未熟、ドキュメントが不完全。
モデル要件：100万トークンのコンテキスト窓、マルチモーダル入力、新規アーキテクチャ。
解決策：Infra Agentが低レベルコードの作成、テスト、反復を担当し、通常は上級エンジニア数週間を要する作業を処理した。
成果：GLM‑5.3‑Flashのすべてのプロダクション推論はこのカスタムクラスタ上で実行されており、OpenCodeおよびOpenRouterでは別名 Ox‑Alpha として最も使用頻度が高いモデルとなっている。

3. 密なフィードバック：疎なメトリクスを実行可能なガイダンスに変換する

"フィードバックは局所的で、安価かつ客観的に検証可能でなければならない。" – Z‑AIブログ

3.1. 局所的 vs エンドツーエンド検証

エンドツーエンドメトリクス（例：スループット）は「何かが間違っている」と示すが、「なぜ間違っているか」までは示さない。
密なフィードバックは以下の情報を提供する：
1. 正しさのテスト – カーネルレベルでの数値比較。
2. 実行時ログと実行トレース – 無駄な待機、競合、誤った転送スケジューリングの特定。
3. マイクロベンチマーク – 特定のカーネルや入力形状のパフォーマンスを孤立して測定。
Infra Agentは各仮説に最も適した検証方法を選択し、変更ごとに高コストなフルサービスデプロイを回避している。

3.2. 効果的なフィードバックの特徴

特徴	その様子	なぜ重要か
局所的	"カーネルXは分割後、形状(64, 1024)で0.3%の誤差を発生した。"
検索空間を単一のコードパスに絞り込む。
安価	5msのマイクロベンチマークは秒単位で実行され、分単位ではない。
速い反復と悪いアイデアの早期拒否を可能にする。
客観的	定義された許容誤差を持つ参照実装との比較。
観測された改善が実際のものであることを保証し、偶然ではないことを確認する。

4. 密なフィードバックを示す事例

4.1. 正しさのフィードバック – 数値精度バグの修正

問題：KDAカーネルのコンテキスト並列化（CP）パスはデフォルトでTF32を使用しており、長文コンテキストで誤差が蓄積していた。
フィードバックループ：
1. 並列化戦略 → 特定のカーネルへのマッピング。
2. 分割済み vs 非分割カーネル出力の比較で1%以上の誤差を発見。
3. 検査によりTF32精度が原因と特定。
4. 修正：両方のドット積に input_precision="tf32x3" を設定。Tensor Coreの速度を維持しつつ精度を向上。
結果：数値誤差を完全に解消。修正は上流にマージ（PR #1180を参照）。

4.2. システム動作のフィードバック – KV転送の並行性ボトルネックの解決

問題：プレフィル＋KV転送の遅延が、プレフィルのみのベースラインより20%以上増加していた。
フィードバックループ：
1. パフォーマンス予算5%を設定したテストシナリオ（プレフィル、プレフィル＋KV、デコード）を定義。
2. 実行トレース分析で、Python側のKV転送がDeepEPのディスパッチ/結合フェーズと重複していなかったことが判明。
3. 根本原因：C++呼び出し（intranode_dispatch, intranode_combine）がPythonのGILを保持しており、転送スレッドをブロックしていた。
4. 修正：これらの呼び出し中にGILを解放。
結果：ギャップは1%未満に低下。エンドツーエンドスループットも向上した。

4.3. パフォーマンスのフィードバック – カーネルレベル最適化がシステム全体に波及

問題：ベースラインのKDAデコードカーネルは、余分な計算と最適でないタイリングを抱えていた。
フィードバックループ：
1. エージェントが既存カーネル（SGLang、Flash Linear Attention、DeepGEMM）から「最適化の骨格」を読み込み。
2. アブレーション実験により3段階の改善（ReplaySSMトレードオフ、除算最適化、タイルマージ）を特定。
3. 最終バージョンでは、4つのV次元タイルを1つのスレッドブロックに統合し、中間データをレジスタに保持。タイルごとの削減をワープレベルの削減に置き換え。
結果：前バージョン比1.71倍の高速化。累積的なカーネル改善が全体の3倍スループット向上に貢献。

5. 3倍のブーストを実現したアーキテクチャと最適化

技術	説明	影響
ノード内テンソル並列（線形アテンションおよびLMヘッド）	ノード内のアクセラレーター間で計算を分割。	デバイスごとのメモリ圧力を低減。
ReplaySSM	計算サイクルを犠牲にしてメモリ帯域幅を削減。	より大きなコンテキスト窓を可能に。
W8A8量子化	8ビットの重みと活性化表現。	メモリトラフィックを削減。
ミックスドプレシジョンキャッシュ（INT8/FP8/BF16）	各レイヤーごとにキャッシュ精度を動的に選択。	精度と帯域幅のバランスを最適化。
レイヤー分割	重いレイヤーを専用デバイスに分離。	利用率を向上。
Encode‑Prefill‑Decode（EPD）の非統合	3つの推論フェーズを分離し、独立したスケーリングを可能に。	パイプライン並列性と遅延を改善。

6. ヒューマン・イン・ザ・ループの役割

目的の定義 – エンジニアがパフォーマンス目標、安全制約、リスク許容度を設定。
フィードバック環境の設計 – エンジニアがエージェントが消費できる適切なログ、テスト、マイクロベンチマークを公開。
重要なレビュー – 人間が数値的安全性の変更、並行性の修正、プロダクション安定性に影響する可能性のあるコードを監査。
結果 – エージェントが変更を提案・実装・検証。人間は正しさ、安定性、ビジネス基準を満たすもののみを承認。

7. AI駆動システムエンジニアリングの未来への示唆

GLM‑5.3‑Flashのリリースは、モデル駆動のコード生成が、密なフィードバックループと組み合わせれば、従来のインフラエンジニアリングの大部分を置き換えることができることを証明している。
3週間という開発期間は、将来のモデル世代がエンジニアリングサイクルを数か月から数日へ圧縮できる可能性を示唆しており、より大きなモデルの展開を加速する。
真の再帰的自己改善（RSI）はまだ研究課題だが、本研究は実用的で段階的な道筋を示している：まず低レベル最適化を自動化し、次にモデルが高レベルのシステム設計に影響を与えるようにする。
このアプローチはハードウェアに依存しない。NVIDIA、AMD、あるいは新興のASICスタックにも同様の密なフィードバックパイプラインを適用可能であり、世界中のAI推論のコスト曲線をフラット化する可能性がある。

8. コミュニティの反応（選定されたHNコメント）

"米国の半導体輸出制限は、中国のAIインフラストラクチャにとって実際の利点かもしれない。中国企業は自社のAIチップ開発を急がざるを得ない。" – zicohacks

"私たちは、10万以上の中国製AIアクセラレーターのクラスタ上で、ゼロから完全なプロダクションレベルの推論サービスを構築した。GLM‑5.3‑Flashのすべてのプロダクション推論はこのシステム上で実行されている。" – dada216

"同じハードウェアからどれだけのパフォーマンスを引き出せるか、非常に印象的だ。同様のプロセスが、LLM、推論プロバイダー、ハードウェアスタックのすべての組み合わせで繰り返されるだろうと予想される。" – a11r

これらのコメントは、この取り組みの戦略的意義が認識されており、積極的なソフトウェア最適化がハードウェアの制限を補完できるという広範な信念を示している。

9. 結論

GLM‑5.3‑Flashの推論インフラストラクチャは、AIモデルが自身を実行するシステムの構築と最適化に積極的に参加する新しいエンジニアリングパラダイムを示している。疎なエンドツーエンドメトリクスを、密で局所的かつ検証可能なフィードバックに変換することで、Infra Agentは以下を実現した：

数値正しさのバグを特定・修正。
複数レイヤーにまたがる並行性の問題を解決。
カーネルレベルの最適化知識をスケールして適用。

その結果、2週間未満で10万アクセラレータークラスタ上で3倍のスループット向上を達成した。これは、フィードバック駆動型のAI支援開発がAIインフラストラクチャの開発を劇的に加速できることを示している。人間の監視は安全と戦略的方針維持に不可欠だが、再帰的自己改善への道は、今や明らかに短くなっている。