leyten/shard

What it solves

Shard は、単一 GPU のメモリ（VRAM）では収まりきらない巨大 AI モデルの実行という問題を解決します。集中型データセンターに依存せず、散在するコンシューマー GPU のネットワークがリソースをプールし、オープンインターネット上でこれらのモデルを共同で提供します。

How it works

Shard は transformer モデルを層のスタックとして扱い、連続したブロックに分割します。"swarm" 内の各 GPU はモデルの一部層だけを保持します。トークンを生成する際、アクティベーションはネットワーク上で順にこれらのシャードを通過します。

公共インターネット（WAN）の高レイテンシを克服するため、Shard は以下の最適化を採用しています：

• Speculative Decoding：小さく高速な "draft" モデルが複数トークンを提案し、大規模分散モデルが単一パスで検証することで、ネットワーク往復コストを平準化します。
• Async Pipelining：複数の検証チャンクを同時に飛行させ、ボトルネックをネットワーク遅延からシステムスループットへシフトします。
• CUDA-graphed Draft：draft モデルを CUDA グラフとしてキャプチャし、起動オーバーヘッドを削減、提案フェーズを大幅に高速化します。
• Direct Return：パイプラインの最終段階で結果をコーディネーターに直接返すことで、ネットワークホップ数を削減します。

Who it’s for

単一の巨大マシンやハイエンドエンタープライズハードウェアを必要とせず、フロンティア規模の AI モデルを実行できる許可不要・分散型コンピュートネットワークを求めるユーザーやプロバイダー向けに設計されています。

Highlights

• Frontier-Scale Performance：WAN 上で約 30 トークン/秒の速度で 744B パラメータモデル（GLM-5.2）を提供できることが実証されています。
• Decentralized Architecture：単一ノードがモデル全体を保持せず、GPU を持つ誰でもネットワークに参加可能です。
• Permissionless Join：ワンコマンドでの参加と、異種 GPU 間での動的レイヤー割り当てをサポートします。
• Fault Tolerance：ノード障害時に生成途中のリクエストを再開できることが実証されています。
• Secure Transport：認証付き暗号化（ChaCha20-Poly1305）と pickle フリーのフレーミングを使用し、コード実行や盗聴を防止します。