X-Cell 4.9B-파라미터 확산 모델이 가상 세포에서 인과 교란 예측을 가능하게 함

X-Cell 4.9B-파라미터 확산 모델이 가상 세포에서 인과 교란 예측을 가능하게 함

TL;DR

X-Cell은 가장 큰 전장 규모 CRISPRi Perturb‑seq 데이터셋(2,560만 세포, 16가지 컨텍스트)으로 학습된 4.9 B‑파라미터 확산 모델로, 보이지 않는 유전적 교란에 대한 세포 반응을 선형 베이스라인보다 훨씬 정확하게 예측한다. 이는 고품질 인과 데이터가—컴퓨팅이 아니라—가상 세포 모델의 제한 요소임을 입증한다.

1. 인과 데이터가 관찰적 아틀라스를 능가하는 이유

  • 관찰적 아틀라스(예: Cell X‑Gene)는 상관관계를 포착하지만 인과적 조절 네트워크를 고유하게 추론할 수 없다. Xi Chu가 설명했듯이, 유전자 A, B, C의 동일한 공동변동은 여러 인과 그래프로 설명될 수 있어, 순수 기술적 데이터만으로는 반사실 예측에 충분하지 않다.
  • 인과 데이터—단일 세포 RNA‑seq와 짝을 이룬 체계적인 유전자 녹다운—는 진정한 원인‑결과 관계를 학습하는 데 필요한 개입 신호를 제공한다.
  • X‑Cell의 학습 세트인 X‑Atlas/Pisces는 수백만 세포에 걸쳐 모든 유전자를 동시에 교란하는 풀링된 CRISPR‑Cas9 Perturb‑seq 작업으로, 배치 효과를 없애고 조밀한 2‑D 텐서(유전자 × 교란 × 세포)를 제공한다.

"기술적 데이터를 보면 가능한 인과 구조가 많이 맞춰질 수 있다; 데이터는 인과성을 진정으로 학습하기에 충분하지 않다." – Xi Chu

2. 자동회귀에서 확산 편집으로

  • 초기 가상 세포 모델(scGPT, GeneFormer)은 자동회귀 토큰 예측을 사용했으며, 이는 유전자의 임의 순서를 가정한다. 이 순서는 발현 행렬에 인공적이며 생성 충실도를 제한한다.
  • X‑Cell은 확산 언어 모델을 채택한다: 잡음이 섞인, 모호한 유전자 발현 벡터에서 시작해 이를 반복적으로 정제한다. 이는 초안 문장을 편집하는 과정과 유사하며, 사전 정의된 유전자 순서가 필요 없고 전사체학의 고차원 특성과 더 잘 맞는다.
  • 확산 과정은 손실을 지속적으로 감소시키며, 모델이 실제 발현 프로파일을 향해 편집을 학습함을 보여준다.

"타이핑 대신, 확산 언어 모델을 편집이라고 생각하라: 매우 모호하고 거친 시작점에서 문장을 반복적으로 생성하고 다듬는다." – Bo Wang

3. 아키텍처와 사전 지식 통합

  • X‑Cell은 디코더 전용 트랜스포머이며 4.9 B 파라미터를 가지고, scGPT의 인코더 가중치로 초기화된다.
  • 학습 중 교차‑어텐션을 통해 다섯 가지 이질적인 생물학적 사전 지식이 주입된다:
    1. 문헌 임베딩(유전자‑특이 텍스트 설명)
    2. 단백질‑단백질 상호작용(PPI) 네트워크
    3. 암‑필수성 지도(DevMap)
    4. 형태학 임베딩
    5. 세포‑유형 임베딩(acid‑GBT)
  • Ablation 실험은 사전 지식이 컨텍스트‑특이 정확도를 향상시키지만, 주된 성능 동인은 여전히 인과 데이터의 규모와 다양성임을 보여준다.

4. 실증 결과: 학습 컨텍스트를 넘어선 일반화

4.1 보이지 않는 T‑세포 활성화

  • 휴식 상태 조절 T‑세포에 대해 학습된 모델에 활성화 후 반응을 예측하도록 요청했다(전혀 보지 못한 컨텍스트).
  • 단순 가산 델타를 이용한 선형 베이스라인은 실패했지만, X‑Cell은 알려진 TCR 복합체 비활성화를 정확히 재현하고 새로운 잠재 억제제까지 식별했다.

4.2 iPSC 분화에서 제외된 세포 유형

  • 다중 계통 iPSC 스크린에서 하나의 분화된 세포 유형을 학습에서 제외했다. X‑Cell은 해당 라인에 대해 수천 유전자의 교란 효과를 정확히 예측했다.

4.3 1차 제공자 T‑세포

  • 불멸화된 T‑세포 라인에 대해 학습된 X‑Cell이 여러 제공자의 1차 T‑세포에 일반화되어, 생물학적 전이에도 불구하고 실제 교란 프로파일과 일치했다.

이 실험들은 컨텍스트 외 및 종 외 일반화를 동시에 보여주며, 가상 세포 활용의 핵심 이정표가 된다.

5. 규모 통찰: 데이터 다양성이 컴퓨팅을 능가한다

  • 학습 손실은 대형 언어 모델과 유사하게 모델 크기에 따라 감소하지만, 데이터 다양성이 제한될 때 일반화 성능은 정체한다.
  • 저자들은 기여도를 다음과 같이 순위 매긴다:
    1. 데이터 품질 및 다양성(전장 규모, 다중 컨텍스트 Perturb‑seq)
    2. 모델 아키텍처(확산 vs. 자동회귀)
    3. 생물학적 사전 지식(컨텍스트‑특이 이득)
  • 이는 단백질 설계 분야와 유사한데, 풍부한 고품질 구조 데이터(PDB)가 AlphaFold를 촉진했지만, 단일 세포 생물학은 아직 데이터 병목 현상을 겪고 있다.

"우리는 단백질 설계에서와 같은 방대한 고품질 데이터를 세포 모델링에서는 아직 갖추지 못했다… 이것은 데이터 제한 문제다." – Xi Chu

6. 향후 방향

6.1 멀티모달 및 공간 확장

  • 공간 전사체학, ATAC‑seq, 프로테오믹스, 이미지 데이터를 통합해 세포‑니치 상호작용을 포착할 계획이다.
  • 현재 버전은 공간 좌표를 다루지 않지만, 다음 릴리스에서는 공간 인식 임베딩을 포함할 예정이다.

6.2 조합 교란

  • 단일 유전자 녹다운으로 학습했음에도, 확산 디코더는 in silico 교란 토큰을 결합해 다중 유전자 효과를 가설화할 수 있어, 광범위한 실험 없이도 조합 치료를 탐색할 수 있는 길을 연다.

6.3 시간 순서화(‘매직 완드’)

  • 커뮤니티가 가장 갈망하는 기술은 동일 세포를 여러 시간점에서 측정하는 것이다(현재 scRNA‑seq는 세포를 죽인다). 장기 단일 세포 프로파일링이 가능해지면 인과 데이터가 크게 풍부해지고 진정한 동적 가상 세포 모델링이 가능해진다.

"케이크를 동시에 가지고 먹을 수는 없다—현재 세포를 시퀀싱하려면 죽여야 한다. 가상 세포를 위한 진정한 ‘매직 완드’는 살아있는 세포의 시간 순서 시퀀싱이다." – Bo Wang

7. 오픈 사이언스와 산업‑학계 시너지

  • X‑Cell 코드, 모델 가중치, Pisces 데이터셋은 GitHub에 공개되어 AlphaFold의 오픈‑소스 성공을 본받았다.
  • 발표자는 학계가 새로운 어세이(CRISPR, scRNA‑seq)를 개척하는 데 뛰어나고, 산업이 데이터 생성 규모와 산업화를 담당한다는 점을 강조한다. 양측의 공생 관계가 분야 발전에 필수적이다.

"오픈 사이언스는 가상 세포 연구를 AlphaFold가 단백질 구조 데이터를 오픈한 것처럼 가속한다." – Bo Wang

8. 연구자를 위한 핵심 정리

  1. 인과적, 고처리량 교란 데이터를 모델 파라미터를 늘리는 것보다 우선시한다.
  2. 확산 편집은 고차원 유전자 발현 생성에 자동회귀 토큰 예측보다 자연스럽게 맞는다.
  3. 이질적인 생물학적 사전 지식을 활용해 컨텍스트‑특이 성능을 높이되, 데이터가 기본이다.
  4. 보이지 않는 세포 유형 및 1차 샘플에 모델을 검증해 진정한 번역 가능성을 입증한다.
  5. 오픈 데이터셋에 기여하고 활용해 가상 세포 분야를 공동으로 전진시킨다.

X‑Cell은 AI 기반 인과적 세포 반응 예측의 중요한 단계이며, 다음 돌파구는 더 큰 모델이 아니라 더 풍부하고 다양한 교란 데이터셋에서 올 것이다.

Sources