OpenMed CodonRoBERTa 多種生物種 mRNA 言語モデルのリリース

TL;DR – OpenMed は、トランスフォーマー言語モデルの新ファミリーで駆動されるコドン最適化ステージを追加したエンドツーエンドのタンパク質工学パイプラインを公開しました。CodonRoBERTa‑large‑v2 は perplexity が 4.10、CAI Spearman 相関が 0.404 を達成し、25 種類の生物種を対象としたスイートはわずか 55 GPU‑hour（≈ $165）で学習されました。スイートには 311 M パラメータの汎用モデルと、ヒト、E. coli、CHO の 3 つの専門モデルが含まれ、従来手法を上回り、発現可能な DNA の高速生成を実現します。

1. リリースに含まれるもの

コンポーネント 説明 主な結果
タンパク質フォールディング ESMFold v1 による 30 本のタンパク質鎖の予測 平均 PTM = 0.79（高いトポロジー信頼度）
配列設計 ProteinMPNN を用いたスキャフォールド 7K00 アミノ酸回復率 42 %
mRNA 最適化 250 k E. coli CDS で学習した新しいトランスフォーマーモデルを、25 種類の生物種に拡張したもの CodonRoBERTa‑large‑v2: perplexity 4.10、CAI Spearman 0.404；25 種類の生物種をカバーする 4 つのプロダクションモデルは 55 GPU‑hour で学習

フォールディングとデザインのステージは既存のオープンソースツール（ESMFold、ProteinMPNN）を再利用しています。コドン最適化ステージは完全に新規で、種条件付きのコドンレベル配列で学習した RoBERTa スタイルの言語モデル群です。

2. アーキテクチャ探索 – コドンに最適なトランスフォーマーはどれか？

モデル パラメータ数 アーキテクチャ 学習データ（250 k E. coli CDS）
CodonBERT (ベースライン) 6 M BERT‑tiny（6 層） –
ModernBERT‑base 90 M ModernBERT（22 層、RoPE） –
CodonRoBERTa‑base 92 M RoBERTa（12 層） –
CodonRoBERTa‑large 312 M RoBERTa（24 層） –
CodonRoBERTa‑large‑v2 312 M RoBERTa（24 層、改良 LR と warm‑up） –

E. coli テストセットでの結果

モデル Perplexity CAI Spearman 同義回復率
CodonRoBERTa‑large‑v2 4.10 0.404 7.7 %
CodonRoBERTa‑base 4.01 0.219 8.5 %
CodonRoBERTa‑large 4.01 0.025 7.6 %
ModernBERT‑base 26.24 0.070 8.5 %
CodonBERT (ベースライン) 17.18 –0.629 0 %

考察

  1. RoBERTa は ModernBERT を perplexity で約 6 倍、CAI 相関でも約 6 倍上回る。古典的な RoBERTa MLM アーキテクチャがコドン配列の統計構造により適していることを示す。
  2. 英語テキストでの事前学習は性能を低下させる – ModernBERT を英語チェックポイントから初期化すると、コドンパターンの学習が阻害された。
  3. ハイパーパラメータ調整はサイズより重要 – v2 チェックポイント（lr 5e‑5、warm‑up 2 k ステップ）は、perplexity がやや高いにもかかわらず CAI 相関が 16 倍向上した。
  4. 92 M パラメータのベースモデルは実用的な低コスト代替 – 大型モデルと同等の perplexity を示し、パラメータは 1/3 しかない。

3. エンドツーエンドパイプライン

3.1 ESMFold によるタンパク質フォールディング

  • ツール: Meta の ESMFold v1（シングルシーケンス、MSA 不要）。
  • 性能（30 本の PDB 鎖）: 平均 PTM = 0.79、残基ごとの pLDDT ≈ 34（マルチチェーン対象では低め）。フォールディングは A100 で 1 タンパク質あたり 10–30 秒。

3.2 ProteinMPNN による配列設計

  • ツール: ProteinMPNN（グラフベースの逆フォールディング）。
  • 結果（スキャフォールド 7K00）: 3 つの配列を生成し、温度 0.1 でベストはネイティブアミノ酸の 42 % を回復。

3.3 CodonRoBERTa による mRNA 最適化

  • 課題 – 従来の CAI テーブルは各コドンを独立に置換し、文脈を無視するため、繰り返しが多く最適でない配列になることがある。
  • 解決策 – コドントークン上で Masked Language Modeling（MLM）を行い、文脈依存のコドン嗜好を学習。モデルは周囲の文脈からマスクされたコドンを予測し、長距離依存性を捕捉する。
  • 評価指標
    • Perplexity – CodonRoBERTa‑large‑v2 は 4.10（マスクあたり約 4 種類の等確率コドン）。
    • CAI Spearman 相関 – 0.404（p < 10⁻²⁰）、生物学的に好まれるコドン使用と強く一致。
    • 同義回復率 – top‑1 同義予測率 12.1 %、アミノ酸制約を尊重していることを示す。
  • 使用例（Python、Hugging Face Transformers）:
    from transformers import RobertaForMaskedLM
model = RobertaForMaskedLM.from_pretrained("OpenMed/CodonRoBERTa-large-v2")
tokenizer = CodonTokenizer()  # 69‑トークンのコドン語彙
seq = "ATG GCT AAA GGT ..."
inputs = tokenizer(seq, return_tensors="pt")
with torch.no_grad():
    scores = model(**inputs).logits

4. 25 種類の生物種へのスケーリング – すべての生物を知る単一モデル

4.1 データエンジニアリング

  • 25 種類の RefSeq CDS（19 バクテリア、3 酵母、3 哺乳類）を取得。
  • バリデーション: 開始/停止コドン、長さ % 3 = 0、内部ストップコドンなしを確認。
  • 最終データセット: 381 283 配列（≈ 3 GB）、種ごとに 95 %/5 % の train/test に分割。

4.2 種条件付きトークナイザー

  • 69‑トークンのコドン語彙に 25 個の特殊種トークンを追加し、94‑トークン語彙を構築。
  • 各配列は種トークン（例: [HUMAN]）でプレフィックスされ、モデルはパラメータを共有しつつ種固有のコドンバイアスを学習できる。

4.3 汎用ベースモデル

  • アーキテクチャ: RoBERTa‑large（311.9 M パラメータ）＋94‑トークン語彙。
  • 学習: 4 × A100 GPU で 48 h、50 k ステップ（≈ 4.5 エポック）、bf16 混合精度、Fully Sharded Data Parallel（FSDP）。
  • テスト perplexity: 24.9 – 単一種モデルより高いが、25 種類のコドン使用パターンを同時に捉える必要があるため。

4.4 種別ファインチューニング

種類 学習配列数 ファインチューニングステップ GPU‑hour テスト perplexity
Human（治療用 mRNA） 131 k 15 k 4 h 24.3
E. coli（バクテリア発現） 8.5 k 5 k 0.5 h 25.3
CHO（バイオ医薬品哺乳類） 42.5 k 10 k 2.5 h 25.5

ヒト専門モデルは、はるかに少ないパラメータで汎用ベースより perplexity が 2.4 % 低下し、マルチ種基盤からの転移学習の有用性を示す。

4.5 モデルスイート（Hugging Face で公開）

  • OpenMed/CodonRoBERTa-large-multispecies – 汎用 311 M パラメータモデル。
  • OpenMed/CodonRoBERTa-large-human – ヒト細胞向け専門モデル（全体で最良）。
  • OpenMed/CodonRoBERTa-large-ecoli – E. coli 向け専門モデル。
  • OpenMed/CodonRoBERTa-large-cho – CHO 細胞向け専門モデル。
  • OpenMed/CodonRoBERTa-large-v2 – E. coli 単一種モデルで最小 perplexity（4.10）と最高 CAI 相関（0.404）。
  • OpenMed/CodonRoBERTa-base – 92 M パラメータの効率的代替。

すべてのモデルは Apache‑2.0 ライセンス、safetensors 形式で保存され、from_pretrained() でロード可能。

5. エンドツーエンドワークフロー例

  1. Fold – ESMFold で対象タンパク質の 3‑D 構造を取得。
  2. Design – ProteinMPNN を実行し、機能残基を固定したまま候補配列を生成。
  3. Validate – 候補を再度 ESMFold でフォールディングし、pLDDT/PTM が高いものを保持。
  4. Optimize – 選択したアミノ酸配列を適切な CodonRoBERTa 専門モデル（例: CodonRoBERTa-large-human）に渡し、コドン最適化された DNA 文字列を取得。
  5. Synthesize – DNA を発注、クローニングし、選択した宿主で発現をテスト。

典型的なタンパク質に対しては、全計算ループが単一 GPU で 1 時間未満で完了し、従来は数週間かかっていたプロセスを大幅に短縮できる。

6. 市場における位置付けと今後の方向性

6.1 主要モデルとの比較

モデル パラメータ数 データサイズ 種条件付け 報告された CAI / 翻訳効率指標
OpenMed CodonRoBERTa 312 M 381 k CDS（25 種類） 25 個の種トークンを持つ単一モデル CAI Spearman 0.404（ヒト専門）
mRNABERT (Xiong et al., 2025) 86 M 18 M 配列 種トークンなし R² 0.66（翻訳効率）
NUWA (Zhong et al., 2026) – 115 M 配列、≈ 25 k 種類 3 つのドメイン別モデル 11/13 ベンチマークで CodonBERT を上回る

OpenMed の独自貢献

  • 25 種類をカバーする 単一の種条件付きモデル を提供し、NUWA のようにドメイン別に分割されたモデルとは異なる。
  • 転移学習 を実証：汎用ベースを 8.5 k E. coli CDS で微調整しただけで、ベースを上回る専門モデルが得られる。
  • 完全な エンドツーエンドパイプライン（フォールディング → デザイン → コドン最適化）と、すべてのコード・重みを許容的ライセンスで公開。

6.2 進行中の研究 – CodonJEPA

  • 目的 – トークンレベルの MLM を Joint Embedding Predictive Architecture（JEPA）に置き換え、同義コドンを埋め込み空間で区別できないようにする。
  • 初期結果（15 k ステップ、同データ）:
    • 同義ロバスト性（コサイン類似度） = 0.9997（JEPA） vs 0.9414（MLM）。
    • 次元崩壊が観測（91 % の分散が単一成分に集中）。VICReg 正則化を強化中。
  • 崩壊が解決すれば、JEPA はアミノ酸情報を自然に組み込んだコドン埋め込みを提供でき、MLM では実現できない機能になる。

6.3 今後 12 ヶ月のロードマップ

  1. 公開の 36 M 配列 mRNABERT データセット上で CodonRoBERTa をスケールし、ProtT5‑XL との対照的アラインメントを追加。
  2. 追加種（酵母、マウス、Pichia）へのファインチューニングを拡張し、更新された専門チェックポイントを公開。
  3. CodonJEPA の次元崩壊を解消し、mRNABERT とベンチマーク比較、パイプラインの埋め込み層として統合。
  4. RFdiffusion を組み込んで de‑novo バックボーン生成を追加し、発現‑安定性予測ヘッドを統合。

7. 実務的なデプロイ

  • 推論ハードウェア – 16 GB 以上の VRAM を持つ単一 A100、または 92 M パラメータベースモデル向けに 12 GB 以上の GPU。
  • ソフトウェアスタック – PyTorch 2.5+、transformers ≥ 4.40、flash‑attn2（高速アテンション）、FSDP（学習時）
  • ライセンス – すべてのコンポーネント（ESMFold、ProteinMPNN、OpenMed モデル）は MIT または Apache‑2.0 で、商用利用が可能。
  • コスト – AWS スポットインスタンス（4 × A100、55 GPU‑hour）で約 $165 のトレーニング費用。

8. 参考文献

  • Jumper, J. et al. “Highly accurate protein structure prediction with AlphaFold.” Nature (2021).
  • Lin, Z. et al. “Evolutionary‑scale prediction of atomic‑level protein structure with a language model.” Science (2023).
  • Dauparas, J. et al. “Robust deep learning‑based protein sequence design using ProteinMPNN.” Science (2022).
  • Cheng, J. et al. “CodonBERT: a language model for codon optimization.” Nucleic Acids Research (2024).
  • Xiong, Y. et al. “mRNABERT: advancing mRNA sequence design with a universal language model and comprehensive dataset.” Nature Communications (2025).
  • Zhong, Y. et al. “Large mRNA language foundation modeling with NUWA for unified sequence perception and generation.” bioRxiv (2026).
  • Warner, B. et al. “ModernBERT: Smarter, Better, Faster, Longer.” arXiv (2024).

完全なコード、学習済みチェックポイント、25 種類の CDS データセットは OpenMed 組織の Hugging Face リポジトリで公開予定です。

SUMMARY: OpenMed は、perplexity 4.10、CAI 0.404 の CodonRoBERTa-large-v2 を搭載したエンドツーエンドのタンパク質工学パイプラインと、55 GPU‑hour（約 $165）で学習した 25 種類のコドン最適化モデルスイートをリリースしました。

TITLE: OpenMed CodonRoBERTa 多種生物種 mRNA 言語モデルのリリース

Sources