Anthropic 發布 gget virus:確定性檢索層大幅提升 AI 代理在病毒序列資料上的準確度
簡要重點
Anthropic 發布了 gget virus,這是一種針對 NCBI Virus 的確定性檢索層,將 AI 代理在病毒序列檢索任務上的準確度提升至超過 99%,顯示可靠的資料存取工具對於值得信賴的生物學 AI 代理至關重要。
核心問題:脆弱的生物資料基礎設施
- 生物學資料庫如 NCBI Virus 是為人類使用者設計,而非自主代理。
- 異質的檔案格式、分散的 API 和未文件化的過濾邏輯,造成「點擊稅」(click-tax)工作流程,對人類而言輕鬆,但對 AI 代理卻容易出錯。
- 即使是最先進的科學代理(Claude Sonnet 4、Claude Opus 4.7、Biomni OSS、Edison Analysis、GPT‑5.2‑pro、GPT‑5.5)在真實的病毒序列查詢上,平均準確度僅為 16.9 %–91.3 %,且每次執行間差異極大。
- 稍微的檢索錯誤(例如錯誤的基因組版本、遺漏記錄)可能大幅改變下游結論,例如系統發生學的 TMRCA 評估或治療性表位分析。
案例研究:NCBI Virus 上的 VirBench 基準測試
- VirBench 包含 120 個查詢,涵蓋 40 種病原體,每個查詢皆有手動驗證的真實值計數。
- 例如查詢:從非洲人類宿主中檢索 Orthoebolavirus zairense 序列(2014 年 01 月 01 日至 2014 年 06 月 20 日),長度 ≥ 15,200 bp 且 N 碱基數 ≤ 1,900。
- 無法使用確定性支援的代理返回極不一致的計數(例如 Claude Sonnet 4 在三次相同執行中分別得到 106、15 和 5 個序列)。
- 產生的系統發生樹顯示 TMRCA 評估範圍從 1922 年到 2014 年,說明檢索缺口如何扭曲科學推論。
"程式碼是最簡單的部分!大部分工作都在瀏覽器裡,點來點去。" – Andrej Karpathy,用以說明代理與以人類為中心的工具之間的廣泛摩擦。
推出 gget virus
- 與 NCBI 合作開發,以程式化方式重現 NCBI Virus 網頁介面行為。
- 協調多個底層資源(REST、Datasets、E‑utilities),並在 API 缺乏所需語意時於本地應用過濾。
- 透過批次處理處理大量結果集,解決識別碼不匹配問題,並在標準化輸出中保留元資料(例如 GenBank 欄位)。
- 產生詳細日誌,使檢索過程可審計且可重現。
對代理效能的影響
| 代理 | 使用 gget virus 前平均準確度 | 使用 gget virus 後平均準確度 |
|---|---|---|
| Claude Sonnet 4 | 91.3 %(變動大) | 99.5 % |
| Claude Opus 4.7 | 88.7 % | 99.6 % |
| Biomni OSS | 84.2 % | 99.3 % |
| Edison Analysis | 78.5 % | 99.2 % |
| GPT‑5.2‑pro | 85.1 % | 99.4 % |
| GPT‑5.5 | 89.9 % | 99.7 % |
- 加入 gget virus 後,大多數執行間變異性消失;各模型間的效能差距大幅縮小。
- 結果顯示,確定性檢索,而非模型規模,才是可靠生物資料流程的限制因素。
為何確定性層次至關重要
- 生物學工作流程需要近乎完美的召回率;單一遺漏的序列可能誤導疫情時間或治療有效性評估。
- 確定性工具提供了一條可重現的「高速公路隧道」,穿過傳統生物資訊學門戶破碎的「人行道」。
- 它讓較便宜的模型也能達到專家級的可靠性,降低研究成本,擴大 AI 增強研究的可及性。
對 AI 驅動科學的更廣泛影響
- 代理能力與現有基礎設施之間的不匹配,反映了其他領域的挑戰(例如網頁開發,正如 Karpathy 的演講所指出)。
- 隨著模型持續進步,對束縛的需求可能減少,但確定性介面在可審計性、速度和成本效益方面仍將保持價值。
- 未來資料庫設計應優先考慮 代理友善的 API、標準化識別碼和版本控制的元資料,以徹底避免「點擊稅」。
未來步驟與開放挑戰
- 將確定性層次方法擴展至其他領域(例如蛋白質結構資料庫、代謝組學資料庫)。
- 建立「代理就緒」資料服務的社群標準,包含明確的模式版本控制與機器可操作的文件。
- 監測日益進步的模型如何與確定性工具互動;評估工具與模型共同演化的潛力,是否能進一步降低延遲與成本。
致謝:作者感謝 Xander Balwit、Ethan Dyer、Stuart Ritchie、Rebecca Hiscott、Alyssa Morrow、Keir Bradwell、Eric Kauderer‑Abrams、Jonah Cool、Andrej Karpathy、Patrick Varilly、Cesar Arze、Blake Lash、Philine Guckelberger、Nisha Gopal、Elliot Hershberg、Pardis Sabeti、Jonathan Feldman、Sarah Gurev、Gage Moreno、Ferdous Nasri 和 Krithik Ramesh 提供的意見與貢獻。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- 專案
- Dispatch