leyten/shard

何を解決するか

Shardは、単一のGPUのVRAMでは収まらない巨大なAIモデルを実行する問題を解決します。オープンインターネット（WAN）上の分散型の一般消費者向けGPUのデセントラライズドで許可なしのネットワークを構築し、メモリと計算能力を共有することで、GLM-5.2 744Bのようなフロンティア規模のモデルをインタラクティブな速度で提供可能にします。

動作方法

Shardはトランスフォーマー・モデルのレイヤーを連続するブロックに分割し、1つのGPUごとに1つのブロック（「スウォーム」）を割り当てます。リクエストは、これらのシャードを順番にアクティベーションをストリーミングすることで処理されます。パブリックインターネットの高遅延を克服するために、Shardは以下の主要な最適化を採用しています：

• 予測的デコード（Speculative Decoding）： 小さく高速な「ドラフト」モデルがトークンを提案し、その提案は大規模な分散モデルが1回のパイプライン走査で検証されます。
• 非同期パイプライン処理（Async Pipelining）： 複数の検証チャンクを同時に処理することで、ネットワーク遅延からシステムスループットへのボトルネックを移動させます。
• リング直接返信（Ring Direct-Return）： チェーンの最終ノードが結果を直接コーディネーターに返信し、ネットワークホップ数を削減します。
• CUDAグラフ化されたドラフト（CUDA-Graphed Drafts）： ドラフトモデルがCUDAグラフとしてキャプチャされ、起動オーバーヘッドを最小限に抑えます。

対象ユーザー

中央集権的なデータセンターに依存せず、検閲されず、分散型でプライベートな分散AIコンピューティングネットワークを構築または利用したい開発者やGPU所有者。

主な特徴

• フロンティアスケールのパフォーマンス： 米国6州のGPUを用いて744Bパラメータモデルを約30 tok/sで実行できることを実証済み。
• 許可なしの参加： 1コマンドで参加可能で、異種GPU間での動的レイヤー割り当てを設計。
• 損失なしのサンプリング： 単一マシン環境とビット単位で同一の温度、top-p/top-kサンプリングをサポート。
• セキュアなトランスポート： コード実行や盗聴を防ぐために、認証済みで暗号化（ChaCha20-Poly1305）されたピクルフリー・フレーミングを使用。
• フェイルセーフ耐性： リクエスト中におけるノード障害時、代替ノードでリクエストが再開される、中間リクエストの回復を実証済み。