Linum AI Pyramid-JiT モデルリリース

概要

Linum AIは、約21,000ドルでゼロから学習させた実験的なテキスト・トゥ・イメージモデル「Pyramid-JiT (P-JiT)」をリリースしました。このプロジェクトは、効率的で制御可能な生成ビデオモデルを開発するという同ラボのより広範な目標に向けた概念実証（PoC）としての役割を果たします。従来のVAE（変分オートエンコーダー）を排除し、直接ピクセル空間で動作させることで、チームは32×32のトークン削減を達成し、学習と推論の両方においてアテンションのコンテキストウィンドウ要件を大幅に低減しました。

アーキテクチャの革新

P-JiTの核心的な革新はVAEの排除にあります。研究者らは、VAEが圧縮に経験的な上限をもたらし、後続の生成に悪影響を及ぼす可能性があると主張しています。代わりに、このモデルは拡散ベースのアプローチを採用し、特定のユースケース専用に構築された潜在空間を学習します。主な技術的特徴は以下の通りです。

• ピクセル空間での動作: ピクセル空間で動作させることにより、Diffusion Transformer (DiT) のすべてのブロックが最終画像のバージョンを予測できるようになり、ネットワークの初期ブロックにおける勾配信号が強化されます。
• Pyramid-JiT構造: このアーキテクチャは32×32のトークン削減を採用しており、通常256²の画像に使用されるトークン数で512²の画像を表すことができ、アテンションコストを4分の1に削減しています。
• 読み出しメカニズム: このモデルはPixelREPA読み出しを利用して潜在空間をDINOv3-Lの特徴量と整合させ、さらにトランクに沿って線形読み出しヘッドを配置することで最終画像の低解像度バージョンを予測し、収束を加速させています。
• 学習体制: このモデルは、カリキュラムベースのノイズスケジュールを使用して6億6000万のサンプルで学習されました。テキスト表現には凍結されたQwen3.5-4Bモデルを使用し、2Dブロック行列に対してMuon最適化を採用しています。

学習とパフォーマンス

総コスト21,038ドルは、8,415時間のH100計算リソースをカバーしました。学習は2つの段階に分けられ、512²解像度フェーズ（6億1000万サンプル）の後に1024²解像度フェーズ（5000万サンプル）が続きました。学習後の調整は、人間が介在するフィードバックを用いた有限差分フロー最適化（FDFO）を使用して行われました。

このモデルは強力な画像生成能力を示していますが、開発者はいくつかの制限を指摘しています。

• テキスト生成: このモデルはレンダリングされたテキスト（PDFやインフォグラフィックなど）で学習されていないため、読み取り可能なテキストやポスターを生成することはできません。
• 複雑なシーン: 2Bパラメータというサイズのため、全身の解剖学的構造、複数人の相互作用、複雑なエンティティの数え上げにおいて、時折苦戦することがあります。

コミュニティの洞察

Hacker Newsでの議論では、技術的な成果とモデルの現在の制限の両方が強調されました。コメント投稿者は、効率性は印象的であるものの、モデルには依然として過度な平滑化や手などの解剖学的な誤りといった一般的なアーティファクトが見られると指摘しました。

VAEを廃止するという決定に関して、あるユーザーは次のように述べています。

"VAEを捨てるというのは直感に反するように感じますが、それがこれほど上手く機能していることに驚いています！ブログ記事で学習の知見を共有してくれたことに感謝します！" — @handle

他のユーザーは、このモデルの効率性が、リソースを大量に消費する大手ラボのアプローチからの大きな脱却であると指摘しました。ある観察者は次のように述べています。

"大手ラボは、計算リソースへのアクセスが現在の彼らの堀（参入障壁）の一つであるため、効率的なモデルを作るインセンティブがありません。中国のラボは事情が異なり、だからこそ画期的な効率化の研究が主に中国から出てくるのです。あなた方のような小さなショップがこのような仕事をしているのを見られて本当に嬉しいです！" — @handle

モデルの重みはApache 2.0ライセンスの下で公開されており、Hugging Faceで入手可能です。