Inside Genebench-Pro: ゲノムAIベンチマークにおけるケーススタディ

OpenAI has released Genebench-Pro, a rigorous benchmark designed to evaluate the ability of AI models to perform complex genomic analysis. The benchmark tests whether models can synthesize multi-modal genomic data—including long-read sequencing, expression profiles, and pharmacogenomic evidence—to reach clinically or scientifically valid conclusions.

Genebench-Proケーススタディの概要

Genebench-Proは、単純なパターン認識を超える必要がある高複雑度のシリーズを使用します。成功するためには、モデルはマルチステップ推論を行い、技術的ノイズ（アンビエントRNAやマッピングアーティファクトなど）を扱い、メンデルランダム化や創設者再構成などのドメイン固有の統計手法を適用する必要があります。

主要な技術ドメインとタスク要件

臨床および体性腫瘍学

Genebench-Proは、構造的バリアントに基づいて治療決定を行う能力を評価します。あるケーススタディでは、モデルは長読みシークエンス、発現データ、および腫瘍品質証拠の組み合わせからターゲットサブグループを回復し、利益と毒性を解釈する前に、合成TXR1指向阻害剤の臨床的有用性を決定しなければなりません。

機能および規制ゲノミクス

このドメインのタスクは、真の生物学的シグナルと技術的アーティファクトを区別することに焦点を当てています：

• CRISPRターゲットバリデーション: モデルは、lncRNA依存性が転写特異的であるか、近傍ローカス効果によって駆動されているかを判断しなければなりません。そのためには、GC毒性、プレート効果、および近隣遺伝子の抑制を制御する必要があります。
• クロマチンループ強度: モデルは、低マッピング可能コンタクトと構造的バリアントアーティファクトをマスクし、期待コンタクトモデルの歪みを防ぎながら、Hi-Cループ強度の違いを定量化するタスクが与えられます。

統計および集団遺伝学

これらのケースは、複雑な遺伝モデリングと祖先推定の能力をテストします：

• ドラッグターゲット優先順位付け: モデルは、リンクされた遺伝子座のタンパク質に対する直接的な疾患効果を推定するために、cis多変量メンデルランダム化（cis-MVMR）を使用しなければなりません。リンク disequilibrium (LD) と残留局所的多形性を考慮に入れる必要があります。
• 祖先と混合: タスクには、フェーズドローカルアンシエンストラクトから親特有の祖先と混合タイミングを推定することが含まれ、これは相互アーティファクトの修復と染色体特有のラベル反転を必要とします。
• 古代DNA分析: モデルは、シーケンシングエラー値をモデル化し、 loci を一貫した導出アレル尺度に配置することにより、ノイズの多い古代アレル頻度時系列から正の選択を推定しなければなりません。

シングルセルおよび構造ゲノミクス

これらのベンチマークは、データクリーニングとキャリブレーションに焦点を当てています：

• eQTL推定: モデルは、活性化単球発現へのゲノタイプ効果を推定しなければなりません。これは、アンビエントRNAと技術的汚染を取り除いた後にeQTLモデルを適用することを要求します。
• ネストされた構造的バリアント: モデルは、ネストされた構造的サブハプロタイプの臨床的関連性を評価しなければなりません。これにより、用量キャリブレーションと発現サポートがより広い逆転オリエンテーションから区別されることを確保します。

データ入力のサマリー

これらのケーススタディ全体で、モデルには以下のような生データまたは半処理済みデータファイルが提供されます：

• レジストリ共変量: 患者の年齢、性別、腫瘍負荷、および療法クラス。
• ゲノミック座標: ガイドID、染色体位置、およびGC分数。
• 関連サマリー: SNP位置、効果アレル、ベータ値、およびp値。
• セルメトリクス: マーカー遺伝子および汚染マーカーの単細胞UMIカウント。
• 祖先データ: 後続値とQCアノテーションを持つフェーズドローカルアンシエンストラクト。

サマリー

OpenAI's Genebench-Pro provides a specialized benchmark for evaluating AI models on complex genomic tasks, featuring ten detailed case studies across somatic oncology, functional genomics, and population genetics.