OpenAI BioBasicsBench: ウェットラボ科学におけるAIエージェントの性能測定

BioBasicsBenchの概要

BioBasicsBenchは、AIエージェントがウェットラボでの日常的な分析（生の実験データの解釈、エラーの特定、証拠が結論を裏付けるのに不十分であることの認識など）を実行する能力を測定するために設計された新しいベンチマークです。酵素設計を専門とするバイオテクノロジー企業Ligoとの共同開発により、このベンチマークは、日々の実験室作業における曖昧で雑然とした現実ではなく、整理された公開済みの図表に依存しがちな既存のデータセットの限界に対処します。

ベンチマークの構造と手法

BioBasicsBenchは、ウェットラボ科学の5つの主要分野（タンパク質手法、イメージングおよびサイトメトリー、定量化およびアッセイ、核酸手法、分子クローニング）にわたる100のタスクで構成されています。これらのタスクでは、以下のような生の実験証拠が使用されます。

• 視覚データ: ゲルおよびブロット画像、プレート写真、顕微鏡スタック、ベンチ作業のビデオ。
• 機器データ: プレートリーダーからの生エクスポート、フローサイトメトリー（FCS）ファイル、機器のスクリーンショット。
• ドキュメント: プロトコル、実験ノート、手書きのメモ、シーケンシングファイル。

各タスクには、専門家が作成した採点基準が組み合わされています。タスクは、Ligoの社内科学者、外部の博士号を持つウェットラボ研究者、および最終的な社内検証を含む厳格な多段階レビュープロセスを経て、正確性と妥当性が確保されています。

パフォーマンス結果

OpenAIは、37の推論努力設定にわたって7つのモデルを評価し、合計18,500件の結果を得ました。その結果、より強力なネイティブのマルチモーダル機能が、ラボベースのタスクにおけるパフォーマンス向上と相関していることが示されました。

「xhigh」の推論努力設定において、GPT-6 Astraは平均報酬66.7%を達成し、43.8%を記録したGPT-5.6 Solを上回りました。これらの結果は日常的な分析の処理における進歩を示していますが、データは、モデルが依然として複雑な視覚的解釈、対照実験の検証、および実験コンテキストの維持に苦労していることを示しています。

主要な機能と制限

推論の進歩

GPT-6 Astraは、以下の点でパフォーマンスの向上が見られます。

• データの限界の識別: 証拠が確固たる結論を導き出すのに不十分である場合を認識する能力が向上し、曖昧な信号の過剰解釈を回避します。
• マルチモーダル統合: プレートラベルと実験プロトコルを関連付けて欠陥のある対照を特定するなど、多様なソースからの情報を統合する能力が強化されました。
• コンテキストの維持: 顕微鏡画像におけるzスタックを認識し、焦点の変化を生物学的現象と誤認しないなど、実験コンテキストを解釈する能力が向上しました。

残された課題

これらの進歩にもかかわらず、モデルは依然として信頼できるラボ支援において重大な失敗を示しています。

• 前提バイアス: モデルは、結果が期待されるパターンと一致しない場合にPCRゲル上のコロニーを誤認するなど、明確な証拠よりも馴染みのある前提を優先させてしまうことがあります。
• 確証バイアス: モデルは、画像やアッセイの好ましい解釈と矛盾するデータポイントを無視することがあります。
• 精度のエラー: コロニーカウントのようなタスクにおいて、モデルは空間解像度に苦労しており、頻繁にコロニーを見逃したり、空の寒天をカウントしたり、近接したサンプルを区別できなかったりします。

生物学研究への影響

BioBasicsBenchは、実験室環境におけるAIの信頼性を向上させるためのツールとして機能します。科学者の時間の多くを占める日常的でエラーが発生しやすいタスクに焦点を当てることで、このベンチマークは、実験ワークフローを確実に支援できるエージェントの開発を促進することを目指しています。さらに、これらの機能を追跡することは、バイオセーフティやバイオセキュリティに関する重要な考慮事項を含め、生物学におけるAIのより広範な影響を理解するために不可欠です。