Poolsideのモデルファクトリー、Laguna S、そしてオープンモデル：Eiso Kantが語るAGI向けコードモデルの構築

モデルファクトリーが高速実験を可能にする

Poolsideのモデルファクトリーは、ストリーミングデータ、バージョン管理されたコード、そして自動化エージェントを統合することで、モデル開発を数か月から数週間へと短縮します。 チームは、Laguna XS2 や Laguna S といったモデルのサイクルを、6か月から5か月・8か週のリリースへとシフトしました。 月に 10,000 から 20,000 の実験を実行し、前日に行った変更が次のランにそのまま反映できるほど機械を信頼しています。 エージェントはコードを書き、トレーニングジョブを起動し、結果を評価し、パイプラインを修正することで、人間のループを縮小します。 不変データとバージョン管理されたコードにより完全な再現性が保証され、任意の実験を正確に再実行できます。

Laguna Sは生の知能よりも持続性を優先する

Laguna S はスケールだけでなく、検証、バックトラッキング、そして永続的な推論によって高い性能を実現します。 モデルは総計 118 billion のパラメータを持ち、うち 8 billion がアクティブで、DGX Spark 上で動作し、約 30‑40 トークン/秒の速度で処理します。 応用研究部門の共同責任者である Peng は、Laguna S の成果は「より多くの知能からではなく、むしろ異なる振る舞い、より多くの検証、前提を取らないこと、早期に勝利を宣言しないこと、そしてはるかに持続的であること」から来ていると述べています。 このモデルは Erdos 397 を独立して解くことができ、外部ライブラリを使わずに試行錯誤を通じて複雑なプログラミング課題を処理します。

オープンウェイトとオープンリサーチは異なる

モデルのウェイトだけを公開しても再現性は確保できません。真のオープンさには研究の詳細共有が不可欠です。 ウェイトを渡すだけでは、基礎となる研究、データミックス、トレーニングパイプラインが隠されたままで、相手は同じことを再現できません。 そのため Poolside は、データソース、オプティマイザの選択、トレーニング手順など、モデル構築の詳細を記した技術レポートを公開しています。 オープンリサーチこそが、数万件の実験から他者が学べる実質的な貢献だと位置付けています。

グローバルタレント戦略でベイエリアの競争を回避

Poolside はベイエリア外に分散型チームを構築し、世界中の専門知識にアクセスし、タレント争奪戦を回避しました。 創業者はゼロ日からベイエリアで研究者を雇わないと決め、米国中部からセルビア、台湾、シンガポールまで幅広く人材を探しました。 パリとロンドンにオフィスを開設し、米国にも拠点を残しながら、イノベーションは特定地域に限定されないと信じています。 このグローバルアプローチはチームにレジリエンスと持続性をもたらし、数年にわたって離職者は極めて少ないです。

モデル構築は主にエンジニアリング

基盤モデル開発の 90% 以上はエンジニアリングであり、理論的ブレークスルーではありません。 Poolside の初期見解は、モデル構築は最終的に 90% がエンジニアリングであり、研究者はコードを書き、データを検証し、実験を実行することに時間の大半を費やすというものでした。 同社はこのプロセスを産業化システムとして扱い、データパイプライン、分散トレーニング、信頼性など各コンポーネントに専用の機構を持たせています。

データと計算効率が成果を推進

データ品質の向上や計算効率の改善が、モデル構築の進歩の大半を占めます。 Eiso は、モデル構築の 95% が「より良いデータ」または「より良い計算効率」の二つのレバーに還元できると見積もっています。 FP8 を用いた低精度トレーニング（Laguna S）や、より賢いネットワーキングといった技術革新は、既存ハードウェアからより多くの能力を引き出します。 より良いデータとは、フィルタリング、クレンジング、変換、そしてトレーニング初期段階でモデルに推論を教えるカリキュラム作成を指します。

ストリーミングデータと再現性が研究を加速

データを直接トレーニングに流し込み、不変データセットを維持することで、迅速かつ信頼できる実験が可能になります。 各ランの前に完全なデータセットを作成する代わりに、Poolside はジャストインタイムでデータをストリーミングし、残りのデータが届く間にトレーニングを開始します。 データ層は不変、コードはバージョン管理されているため、研究者は各トークンを正確なソースとコードバージョンに遡って追跡できます。 この再現性により、以前の YOLO‑style の実行は、各試行がクリーンなアブレーションとなる厳密な科学実験へと変わりました。

エージェントがモデルファクトリーを自動化

エージェントはコードを書き、トレーニングジョブを起動し、結果を評価し、パイプラインを修正することで、人間のループ時間を短縮します。 オフィスを歩くと、Eiso は研究者の画面がエージェントで埋め尽くされているのを目にします。エージェントはコードを書き、ジョブを送信し、結果をチェックし、トレーニングインフラを微調整しています。 エージェントはトレーニング前後のパイプラインや合成データ生成にも関与し、アーキテクチャ決定にも影響を与え始めています。 この自動化は、システムが自身のトレーニングプロセスを改善する再帰的自己改善の初期兆候を生み出しています。

強化学習はより早い段階へシフトする

Eiso は、強化学習が前段階のトレーニングに組み込まれ、推論を早期に教える方向へシフトすると予測しています。 彼は、RL が別個の事後トレーニングフェーズに留まらず、ますます前段階に移行していくという、あまり一般的でない見解を持っています。 早期の RL は、モデルがまだ生のウェブテキストを見ている段階で推論能力を誘発し、次トークン予測を思考プロセスへと変換します。

次トークン予測はウェブ知識を十分に活用していない

現在の前段階トレーニングはウェブからの情報抽出が不十分であり、生テキストを推論へと変換する手法が必要です。 Eiso は、次トークン予測だけでは不十分で、ウェブから得られるはずの知識をまだ十分に絞り出せていないと主張しています。 研究は、ウェブを利用してモデルに早期に思考を教える方法を模索しており、純粋な統計的予測を超える方向へ進んでいます。

ビジョンモダリティを優先、オーディオは遅延

Poolside は言語に続く次のステップとして視覚理解に注力し、オーディオの取り組みは後回しにしています。 現在のモデルは視覚理解が不足していますが、チームはそれを極めて重要と考え、構築に向けた取り組みを開始しました。 オーディオは近い将来の優先事項ではありません。Eiso はオーディオがシステムを AGI に近づけるとは考えておらず、計算資源は言語と視覚に投資すべきだとしています。

Poolsideの名前と野望

"Poolside" という名前は、創業者が野望を決して低くしないようにという意味で、ある会議での偶然の出会いにインスパイアされています。 潜在的なパートナーとの初期会話で、チーフサイエンティストがレストランのプールサイドへ移動することを提案し、その名前が「より困難な道を選び、簡単な買収取引に流れない」ことのリマインダーとして定着しました。 これは、基盤モデルを構築する際に野望を丸めないことを象徴しています。

資金調達と投資家の懐疑

Poolside は 5 億ドルを調達しましたが、多くの投資家は依然として AGI の実現可能性に懐疑的でした。 資金調達ラウンドでは、投資家との会話の大半が「これらのモデルは単なる確率的パロットではなく、継続的に改善される」ことを説明するものでした。 懐疑的な見方があっても、AGI が近い将来の現実的な見通しであるかどうかに関わらず、資金は確保されました。

オープンモデルの過度な制限のリスク

オープンモデルのリリースを早期に制限すると、権力が集中しイノベーションが阻害される恐れがあります。 Eiso は、たとえ Poolside が上位5社に入っても、5社だけの世界よりも 100 社の基盤モデル企業がある世界を好みます。 規制や安全性への懸念でオープンリリースがロックアウトされると、たまたまタバコ広告禁止が数社のタバコ企業を固定化したように、2〜3 社の AI 企業が寡占を形成する危険性があると警告しています。

ハードウェアのボトルネックとRLの実時間

バッチサイズに制限される RL の実時間は、ハードウェアの進歩があっても依然として大きなボトルネックです。 RL タスクは有限であるためバッチサイズを拡大しにくく、RL の計算スケーリングは前段階トレーニングと同じ曲線をたどりません。 Eiso はこれを Poolside の現在最大のボトルネックの一つと位置付け、異なるチップで prefill と decode を分離する技術が RL の効率向上につながることを期待しています。

蒸留ではなくスクラッチからのトレーニング

Poolside は、研究上の完全なコントロールを保持するために、単に大規模モデルを蒸留するのではなく、スクラッチからモデルをトレーニングします。 蒸留はトレーニング過程で得られた教訓を隠蔽し、モデルファクトリーの改善を困難にします。 スクラッチトレーニングにより、チームは安定性、データミックス、オプティマイザの挙動を各オーダーで詳細に研究し、その洞察をシステムにフィードバックできます。

全てのモデル構築機能にわたる採用

同社は前段階、事後段階、アーキテクチャ、評価、エンジニアリングといった全領域で研究者とエンジニアを採用しています。 Poolside は、実験とインフラのオーナーシップを取れるハイエージェンシーな人材を求め、70 人未満の研究者と約 35 人のエンジニアで構成されており、各採用がモデルファクトリーの速度と能力に大きなインパクトを与えています。