X-Cell 4.9B-パラメータ拡散モデルがバーチャルセルにおける因果的摂動予測を実現

X-Cell 4.9B-パラメータ拡散モデルがバーチャルセルにおける因果的摂動予測を実現

TL;DR

X-Cell は、最大規模のゲノム全体 CRISPRi Perturb‑seq データセット（2,560 万細胞、16 コンテキスト）で学習された 4.9 B パラメータ拡散モデルで、未見の遺伝子摂動に対する細胞応答を線形ベースラインよりはるかに正確に予測します。高品質な因果データが、バーチャルセルモデルの制限要因であり、計算リソースではないことを示しています。

1. なぜ因果データが観測的アトラスに勝るのか

  • 観測的アトラス（例：Cell X‑Gene）は相関を捉えるだけで、因果的な調節ネットワークを一意に推定できません。Xi Chu が説明したように、遺伝子 A、B、C の同時変動は複数の因果グラフで説明でき、純粋に記述的なデータだけでは反事実的予測に十分な情報がありません。
  • 因果データ――系統的な遺伝子ノックダウンと単一細胞 RNA‑seq の組み合わせ――は、真の因果関係を学習するために必要な介入シグナルを提供します。
  • X‑Cell のトレーニングセット X‑Atlas/Pisces は、何百万もの細胞で全遺伝子を同時に摂動するプール型 CRISPR‑Cas9 Perturb‑seq 取り組みで、バッチ効果を排除し、密な 2‑D テンソル（遺伝子 × 摂動 × 細胞）を提供します。

"記述的データを見ると多くの因果構造を当てはめられるが、データは因果性を真に学習するには情報が不足している。" – Xi Chu

2. オートリグレッシブから拡散編集へ

  • 初期のバーチャルセルモデル（scGPT、GeneFormer）は オートリグレッシブ トークン予測を使用し、遺伝子の任意の順序を仮定していました。この順序は発現マトリックスに対して人工的であり、生成忠実度を制限します。
  • X‑Cell は 拡散言語モデル を採用します：ノイズの多い曖昧な遺伝子発現ベクトルから開始し、段階的に洗練していく手法で、草稿文の編集に例えられます。これにより事前に決めた遺伝子順序が不要となり、トランスクリプトミクスの高次元性により適合します。
  • 拡散プロセスは損失を継続的に減少させ、モデルが真の発現プロファイルへと編集することを学習していることを示します。

"タイピングではなく、拡散言語モデルは編集と考えてください：非常に曖昧で粗い開始点から文を段階的に生成し、次第に洗練していくのです。" – Bo Wang

3. アーキテクチャと事前知識の統合

  • X‑Cell は デコーダーのみのトランスフォーマー で、4.9 B パラメータを持ち、scGPT のエンコーダー重みから初期化されています。
  • 学習時にクロスアテンションを通じて 5 つの異種生物学的事前知識が注入されます：
    1. 文献埋め込み（遺伝子固有のテキスト記述）
    2. タンパク質‑タンパク質相互作用（PPI）ネットワーク
    3. がん必須性マップ（DevMap）
    4. 形態学的埋め込み
    5. 細胞種埋め込み（acid‑GBT）
  • アブレーション実験は、事前知識がコンテキスト固有の精度を向上させるものの、 支配的な性能ドライバー は因果データの規模と多様性であることを示しています。

4. 実証結果：トレーニングコンテキストを超える汎化

4.1 未見の T 細胞活性化

  • 静止状態の制御性 T 細胞で学習したモデルに、活性化後の応答予測を要求しました（モデルはこのコンテキストを一度も見ていません）。
  • 線形ベースライン（単純な加算デルタ）は失敗したのに対し、X‑Cell は既知の TCR 複合体の不活性化を正しく再現し、さらに新規の阻害因子候補を特定しました。

4.2 iPSC 分化における除外細胞種

  • 多系統 iPSC スクリーンで、ある分化系統をトレーニングから除外しました。X‑Cell は除外系統に対して数千遺伝子の摂動効果を正確に予測しました。

4.3 プライマリドナー T 細胞

  • 不死化 T 細胞系で学習した X‑Cell は、複数ドナーからのプライマリ T 細胞に一般化し、生物学的シフトがあるにも関わらず実測摂動プロファイルと一致しました。

これらの実験は コンテキスト外 および 種間外 の汎化を示し、バーチャルセルの実用性に向けた重要なマイルストーンです。

5. スケーリング洞察：データ多様性が計算を凌駕する

  • 学習損失は大規模言語モデルと同様にモデルサイズとともにスケールしますが、 汎化性能はデータ多様性が制限されると頭打ち になります。
  • 著者らは貢献度を次のように順位付けしています：
    1. データの質と多様性（ゲノム全体、マルチコンテキスト Perturb‑seq）
    2. モデルアーキテクチャ（拡散 vs. オートリグレッシブ）
    3. 生物学的事前知識（コンテキスト固有の利得）
  • これはタンパク質設計分野と類似しており、豊富な高品質構造データ（PDB）が AlphaFold を推進した一方、単一細胞生物学は依然としてデータボトルネックに悩まされています。

"細胞モデリングにおいて、タンパク質設計と同等の大規模で高品質なデータはまだありません… それはデータ制限の問題です。" – Xi Chu

6. 今後の方向性

6.1 マルチモーダル＆空間的拡張

  • 空間トランスクリプトミクス、ATAC‑seq、プロテオミクス、イメージングデータの統合を計画し、細胞‑ニッチ相互作用を捉えることを目指します。
  • 現行バージョンは空間座標を扱いませんが、次期リリースで空間認識埋め込みを組み込む予定です。

6.2 組み合わせ摂動

  • 単一遺伝子ノックダウンで学習したものの、拡散デコーダは インシリコ で摂動トークンを組み合わせ、複数遺伝子効果を仮説立てできるため、網羅的な実験なしで組み合わせ療法を探索する道が開かれます。

6.3 時系列シーケンシング（“マジックワンド”）

  • コミュニティが最も求めているのは、同一細胞を複数時間点で測定できる技術です（現行 scRNA‑seq は細胞を殺します）。長期的単一細胞プロファイリングが実現すれば、因果データが劇的に豊富になり、真の動的バーチャルセルモデリングが可能になります。

"ケーキを食べながら持っていることはできません――現在、細胞をシーケンスするには必ず細胞を殺す必要があります。バーチャルセルの本当の ‘マジックワンド’ は、生細胞の時系列シーケンシングです。" – Bo Wang

7. オープンサイエンスと産学シナジー

  • X‑Cell のコード、モデル重み、Pisces データセットは GitHub で公開されており、AlphaFold のオープンソース成功例に倣っています。
  • 発表者は、学術ラボ が新規アッセイ（CRISPR、scRNA‑seq）を先導し、産業界 がデータ生成をスケールし産業化できる、と強調しています。相互補完的な関係が分野の進展に不可欠です。

"オープンサイエンスは、オープンなタンパク質構造データが AlphaFold を加速させたのと同様に、バーチャルセル研究を加速させます。" – Bo Wang

8. 研究者への要点

  1. 因果的でハイスループットな摂動データ を優先し、単にモデルパラメータを増やすだけにしない。
  2. 拡散編集 は高次元遺伝子発現生成に対して、オートリグレッシブトークン予測より自然なアプローチを提供する。
  3. 異種生物学的事前知識 を活用してコンテキスト固有の性能を向上させるが、データが主役であることを認識する。
  4. 未見の細胞種や一次サンプル でモデルを検証し、真の翻訳的有用性を示す。
  5. オープンデータセット に貢献し、利用して、バーチャルセルのフロンティアを共同で押し上げる。

X‑Cell は、細胞応答の因果的予測を AI が実現する重要なステップであり、次なるブレークスルーはモデルの大きさではなく、より豊かで多様な摂動データセットから来ることを強調しています。

Sources