Genebench-Pro 內部：基因組 AI 基準測試的案例研究

OpenAI 已發布 Genebench-Pro，這是一個嚴格的基準，旨在評估 AI 模型執行複雜基因組分析的能力。該基準測試模型是否能夠綜合多模態基因組數據——包括長讀取測序、表達圖譜和藥物基因組證據——以得出臨床或科學上有效的結論。

Genebench-Pro 案例研究概覽

Genebench-Pro 使用一系列高複雜度的案例研究，要求模型超越簡單的模式識別。要成功，模型必須執行多步驟推理，處理技術噪聲（例如環境 RNA 或映射工件），並應用特定領域的統計方法，如孟德爾隨機化或創始者重建。

臨床與體細胞腫瘤學

Genebench-Pro 評估基於結構變異做出治療決策的能力。在一個案例研究中，模型必須透過從長讀取測序、表達數據和腫瘤品質證據的組合中恢復目標亞群來確定合成 TXR1 導向抑制劑的臨床效用，然後再解讀其益處和毒性。

功能與調控基因組學

• CRISPR 目標驗證： 模型必須決定 lncRNA 依賴性是轉錄本特異性，還是由鄰近座位效應驅動，這要求它們控制 GC 毒性、板效應和鄰近基因抑制。
• 染色質環強度： 模型的任務是在遮蔽低可映射接觸和結構變異工件的情況下量化 Hi-C 環強度差異，以防止預期接觸模型的扭曲。

統計與族群遺傳學

• 藥物目標優先排序： 模型必須使用 cis 多變量孟德爾隨機化 (cis-MVMR) 來估計連鎖遺傳座位中蛋白質的直接疾病效應，考慮連鎖不平衡 (LD) 和剩餘局部多效性。
• 祖源與混合： 任務包括從已相位的局部祖源片段推斷父母特定的祖源和混合時間，這需要修復互惠工件和染色體特定的標籤反轉。
• 古 DNA 分析： 模型必須透過建模測序錯誤值並將座位放置在一致的導出等位基因尺度上，從雜訊的古代等位基因頻率時間序列推斷正向選擇。

單細胞與結構基因組學

• eQTL 估計： 模型必須估計基因型對活化單核球表達的影響，這在應用 eQTL 模型之前需要去除環境 RNA 和技術污染。
• 巢狀結構變異： 模型必須評估巢狀結構亞單倍型的臨床關聯，確保劑量校準和表達支持與更廣泛的倒置取向保持區別。

數據輸入摘要

在這些案例研究中，模型會獲得原始或半處理的數據檔案，包括：

• 登記變異數： 患者年齡、性別、腫瘤負擔和療法類別。
• 基因組座標： 指南 ID、染色體位置和 GC 比例。
• 關聯摘要： SNP 位置、效應等位基因、beta 值和 p 值。
• 細胞度量： 每個細胞的標記基因和污染標記的 UMI 計數。
• 祖源數據： 帶有後驗值和 QC 標註的已相位局部祖源片段。

OpenAI 的 Genebench-Pro 提供了一個專門的基準，用於評估 AI 模型在複雜基因組任務上的表現，涵蓋體細胞腫瘤學、功能基因組學和族群遺傳學的十個詳細案例研究。