Modal: AI エージェント向け 100,000 サンドボックス問題の解決

開発者体験からエージェント体験へのシフト

Modal は、開発者体験 (DX) からエージェント体験 (AX) へのフォーカスにシフトしています。核心となる主張は、高品質な DX がもたらす利点――ボイラープレートの削減やインフラプロビジョニングの簡素化――が AI エージェントにも直接適用できるということです。エージェントが何百もの型なし Kubernetes YAML ファイルを扱う代わりに、Modal ではコード内のデコレータを通じて変更を行えるため、エージェントは自己プロビジョニングランタイムで変更をリアルタイムに確認できます。

エージェントがコードを書く機会が増えるにつれ、人間の役割は観測性へとシフトします。エージェントは CLI を使って調査できますが、ダッシュボードの解釈や高レベルの判断は依然として人間が行います。したがって、基盤コードを読む能力よりも高品質な観測性ツールがますます重要になります。

従来のクラウドインフラが AI ワークロードに失敗する理由

Kubernetes や従来のクラウドプロバイダーは、ステディステートなウェブサーバー向けに設計され、スケーリングも緩やかです。一方、AI ワークロードは極端な「バースト性」と、アクセラレータなどの特殊計算資源やカスタムイメージを必要とします。

Modal は次のようにこれらのギャップを埋めます:

• Elastic Inference: 予測不可能なトラフィックパターンに合わせて、ゼロから数千の GPU へと迅速にスケールできる能力。
• Serverless Primitives: 従来のクラスター管理のオーバーヘッドなしに、計算集約型ワークロードが上下にバーストできるランタイム。
• Multi-Cloud Capacity: 17 の異なるクラウドプロバイダーにまたがる「スーパークラウド」戦略により、データローカリティ、レイテンシ、信頼性を最適化し、さまざまな NeoCloud 上にソフトウェア定義の信頼性レイヤーを構築します。

100,000 サンドボックス問題の解決

特定の AI ワークロード、特に強化学習 (RL) のロールアウトでは、インフラ要件が膨大かつ極めて変動的です。Akshat Bubna は、RL ロールアウトが同時に最大 100,000 のサンドボックスを必要とすることがあると指摘しています。

これを支えるために、Modal は以下の主要な技術プリミティブを開発しました:

• GPU Snapshotting: GPU の状態（例: torch コンパイラモデルのスナップショット）を取得することで、コールドスタート時間を大幅に短縮し、バースト的な推論やトレーニング時のスケーリングを高速化します。
• Networked Sandboxes and Sidecars: Modal は「サイドカー」をサポートし、サンドボックスを複数コンテナからなるポッドとして扱えます。これは、ロギングや外部ネットワーク制御のための man‑in‑the‑middle プロキシを実行する際に必須です。
• Private IPv6 Overlay (I6PN): 同一ワークスペース内のコンテナがプライベート IPv6 アドレスで相互に通信できるオーバーレイネットワークで、分散トレーニングに重要です。
• RDMA Networking: TCP スタックをバイパスし、ノード間でメモリを高速転送する RDMA ネットワーク（最大 3 Tbps）を提供し、中規模モデルのマルチノードポストトレーニングに不可欠です。

DeFlash による推論性能の向上

Modal は単なる「ブラックボックス」デプロイから、モデル層自体の最適化へと進化しています。主な焦点は、推論速度を向上させるスペキュレーティブデコーディングです。

スペキュレーティブデコーディングと DeFlash

スペキュレーティブデコーディングは、より小さな「ドラフトモデル」を使ってトークンを先行予測し、大きなモデルがバッチで検証します。この手法は、メモリ帯域幅に縛られるのではなく計算資源を活用するため、効率が高いです。

Modal は DeFlash というブロックベースのスペキュレータをオープンソース化しました。カーネル最適化だけではわずかなパーセンテージ向上に留まりますが、"accept length"（ドラフトモデルから大モデルが受け入れるトークン数）を増やすことで、品質を犠牲にせずに 2 倍から 4 倍の乗算的スピードアップが可能です。

Auto Endpoints

最先端の性能を深い専門知識なしで利用できるように、Modal は Auto Endpoints を導入しました。これにより、ユーザーは UI または CLI から DeFlash などの最適化を組み込んだエンドポイントを作成でき、透明性を保ちつつ、必要に応じてフル Modal 体験に切り替えてモデルや設定を微調整できます。

AI インフラの未来: Auto‑Research と CI

Modal は「auto‑research」へと拡大しています。エージェントに GPU を割り当て、モデル直感に基づくハイパーパラメータ探索を実行させます。これは従来のグリッドサーチより効率的で、エージェントが自律的に設定を調整し、プロファイラを走らせ、GPU 種類（例: H200 から B200 へ）を切り替えて最適性能を見つけられます。

さらに、Modal は CI（継続的インテグレーション）市場に大きな機会を見出しています。コーディングエージェントが CI 実行回数を増やすにつれ、依存関係やアーティファクトの準備プロセスが無駄になります。Modal はメモリスナップショットと復元といったプリミティブが、エージェントワークフロー向け CI を大幅に効率化できると考えています。