Anthropic、gget virusを発表:決定論的検索レイヤーがウイルス配列データにおけるAIエージェントの精度を向上

まとめ

Anthropicは、NCBI Virus向けの決定論的検索レイヤーであるgget virusをリリース。このツールにより、AIエージェントのウイルス配列検索タスクにおける精度が99%以上にまで向上し、信頼できる生物学的AIエージェントには信頼性の高いデータアクセスツールが不可欠であることを示した。


核心的な問題:脆い生物学的データインフラ

  • NCBI Virusのような生物学的データベースは、自律的なエージェントではなく人間ユーザーのために設計されている。
  • 異種のファイル形式、散在するAPI、文書化されていないフィルタリングロジックが、「クリック・タックス」ワークフローを生み出し、人間には簡単だがAIエージェントにとっては誤りを起こしやすい。
  • 最先端の科学的エージェント(Claude Sonnet 4、Claude Opus 4.7、Biomni OSS、Edison Analysis、GPT-5.2-pro、GPT-5.5)でも、現実的なウイルス配列クエリにおいて平均精度は**16.9%–91.3%**にとどまり、ランダムな実行間で大きなばらつきが見られた。
  • 小さな検索エラー(例:間違ったゲノム構築、記録の欠落)は、系統樹的TMRCA推定や治療的エピトープ解析といった下流の結論を劇的に変える可能性がある。

ケーススタディ:NCBI VirusにおけるVirBenchベンチマーク

  • VirBenchは、40種の病原体にわたる120のクエリから構成され、それぞれ手動で検証された真の値(正解数)が付与されている。
  • 例:2014年1月1日~6月20日までのアフリカのヒト宿主由来のOrthoebolavirus zairense配列を、長さ≥15,200 bpかつN残基数≤1,900の条件で検索。
  • 決定論的サポートのないエージェントは、同一のクエリに対して著しく不一致な結果を返した(例:Claude Sonnet 4は3回の実行でそれぞれ106、15、5件を返した)。
  • その結果、系統樹のTMRCA推定値は1922年から2014年まで変動し、検索のギャップが科学的推論を歪めることを示している。

"コードは最も簡単だった!ほとんどすべての作業はブラウザで、クリックすることだった。" – Andrej Karpathy、エージェントと人間中心のツールとの間の広範な摩擦を示すために引用。

gget virusの紹介

  • NCBIとの共同開発により、NCBI VirusのWebインターフェースの動作をプログラム的に再現することを目的としている。
  • REST、Datasets、E-utilitiesなど複数の下位リソースを統合し、APIに必要な意味論が不足している場合にはローカルでフィルタを適用する。
  • バッチ処理により大規模な結果セットを扱い、識別子の不一致を解決し、標準化された出力でメタデータ(例:GenBankフィールド)を保持する。
  • 詳細なログを出力することで、検索プロセスの監査可能性和再現性を確保する。

エージェント性能への影響

エージェント gget virusなしの平均精度 gget virusありの平均精度
Claude Sonnet 4 91.3%(変動あり) 99.5%
Claude Opus 4.7 88.7% 99.6%
Biomni OSS 84.2% 99.3%
Edison Analysis 78.5% 99.2%
GPT-5.2-pro 85.1% 99.4%
GPT-5.5 89.9% 99.7%
  • gget virusの導入により、実行間のばらつきはほとんど解消された。モデル間の性能差も大幅に縮小した。
  • その結果、信頼性の高い生物学的データパイプラインにおいて、モデルのサイズではなく決定論的検索が限界要因であることが示された。

決定論的レイヤーの重要性

  • 生物学的ワークフローではほぼ完全な再現性が求められる。1つの配列の欠落が、流行のタイミングや治療効果評価を誤らせる可能性がある。
  • 決定論的ツールは、伝統的なバイオインフォマティクスポータルの断片的な「歩行者道」の下に、再現可能な「高速トンネル」を提供する。
  • これにより、低コストのモデルでも専門家レベルの信頼性を実現でき、AI強化研究へのアクセスを低コストで広げられる。

AI駆動科学における広範な意味

  • エージェントの能力と既存インフラの不一致は、他の分野(例:Web開発)における課題と類似している(Karpathyの講義で指摘)。
  • モデルが進化するにつれてハーネスの必要性は減少する可能性があるが、監査可能性、高速性、コスト効率の観点から決定論的インターフェースは依然として価値がある。
  • 今後のデータベース設計では、「エージェントフレンドリーなAPI」、標準化された識別子、バージョン管理されたメタデータを優先すべきであり、「クリック・タックス」を完全に回避できるようにすべきである。

次のステップと未解決の課題

  • 決定論的レイヤーのアプローチを他の分野(例:タンパク質構造リポジトリ、メタボロミクスデータベース)に拡張する。
  • 「エージェント対応」データサービスのためのコミュニティ標準を策定し、明示的なスキーマバージョン管理と機械可処理ドキュメントを含める。
  • 決定論的ツールと急速に進化するモデルの相互作用を監視し、ツールとモデルの共進化がさらに遅延とコストを削減できるかどうかを評価する。

謝辞:著者らは、Xander Balwit、Ethan Dyer、Stuart Ritchie、Rebecca Hiscott、Alyssa Morrow、Keir Bradwell、Eric Kauderer-Abrams、Jonah Cool、Andrej Karpathy、Patrick Varilly、Cesar Arze、Blake Lash、Philine Guckelberger、Nisha Gopal、Elliot Hershberg、Pardis Sabeti、Jonathan Feldman、Sarah Gurev、Gage Moreno、Ferdous Nasri、Krithik Rameshらのフィードバックおよび貢献に感謝する。

Sources

関連

  • Dispatch
  • Dispatch
  • Dispatch
  • プロジェクト
  • Dispatch