OpenAI、ライフサイエンスにおけるエージェントAI評価のためのLifeSciBenchを発表

OpenAIはLifeSciBenchを導入しました。これは、AIシステムが現実的なライフサイエンス研究タスクを支援できるかどうかを評価するためのベンチマークです。狭い領域や単一スキルに焦点を当てた従来の評価とは異なり、LifeSciBenchは不完全な証拠の解釈、矛盾する結果の調整、そして不確実性下での実験設計といった、実世界の研究の複雑さに対処するモデルの能力を測ります。

ベンチマークの構成と分類体系

LifeSciBenchは、7つの生物学領域と7つのコア研究ワークフローにまたがる、専門家が作成した750のタスクで構成されています。これらのワークフローは、実務的なライフサイエンティストに調査を行い、応用研究環境で最も一般的な活動を特定した結果です。

• Evidence Handling（証拠処理）: さまざまな情報源から科学的証拠を抽出、調整、監査する。
• Analysis（分析）
• Design and Optimization（設計と最適化）
• Validation and Operations（検証と運用）
• Translation（翻訳）: 医薬品開発の「ベンチからベッドサイド」へのプロセス。
• Scientific Reasoning（科学的推論）
• Scientific Communication（科学的コミュニケーション）

研究の実務的性格を反映するため、ベンチマークにはPDF、図、表、配列ファイル、化学構造ファイルなど、合計1,062のタスクアーティファクトが含まれています。タスクの半数以上（53％）は、モデルがこれらのアーティファクトの少なくとも1つから情報を統合することを要求します。

データセット構築と専門家による検証

LifeSciBenchは、バイオテクノロジーまたは製薬業界での経験を持つPh.D.レベルの科学者173名によって開発されました。構築プロセスは科学的根拠と厳密さを重視しています。

• Iterative Review（反復レビュー）: 受理されたタスクは平均6回の自動レビューサイクルと少なくとも2回の専門家レビューを経ました。
• Consensus（コンセンサス）: レビューは検証可能な正解または強い専門家コンセンサスに基づき、該当領域のレビュアー間で少なくとも90％の合意が必要でした。
• Independent Validation（独立検証）: ベンチマークはさらに453人の独立レビュアー（97％がPh.D.または同等）によって検証されました。これらのレビュアーは、実務との整合性やモデル性能評価への有用性などのカテゴリで96％以上の合意を報告しています。

採点方法論：粒度の高いルーブリック

ライフサイエンスのタスクはしばしば単一の「正解」が存在しないため、LifeSciBenchは単純な二元採点ではなく、タスク固有の詳細なルーブリックを使用します。ベンチマークは合計19,020項目（タスク平均25項目）を用いて、科学的正確性と実務的有用性を評価します。

このアプローチにより、部分的な正確性にも報酬が与えられます。モデルが高レベルの結論を正しく導出しても、重要なアッセイの制限や生物学的ニュアンスを見落とすと減点されます。逆に、タスクを完全に解決できなくても、高品質な推論が認められれば部分点が付与されます。

モデル性能と能力

OpenAIはベンチマークを2つの指標で評価しました：Pass Rate（70％成功閾値を満たすタスクの割合）とScore（ルーブリックによる平均報酬）。

強みの領域

最先端モデルは科学的統合、コミュニケーション、構造化解釈で最も進歩を示しています。GPT‑RosalindはGPT‑5.5に比べて全体の正確パス率が25.7％から36.1％へ向上しました。

• Scientific Communication（科学的コミュニケーション）: パス率が56.3％（GPT‑5.5）から71.1％（GPT‑Rosalind）へ上昇。
• Translation（翻訳）: パス率が36.8％（GPT‑5.5）から57.7％（GPT‑Rosalind）へ上昇。
• Expert‑Useful Outputs（専門家が有用と感じる出力）: GPT‑Rosalindは44.7％、GPT‑5.5は29.1％のスコアを獲得。

弱みの領域

AIシステムはアーティファクトが多いタスクや運用上の制約がある作業で依然として苦戦しています。

• Artifact Integration（アーティファクト統合）: アーティファクトやURLが含まれるタスクでパス率が大幅に低下。GPT‑Rosalindはテキストのみタスクで45.1％だったのが、アーティファクト付きタスクで28.1％に減少。
• Design and Analysis（設計と分析）: 「Design, Optimization, & Prediction」（パス率30.7％）と「Analysis」（パス率30.3％）がGPT‑Rosalindにとって最も難しいワークフローです。
• Exact Outputs（正確な出力）: 正確な配列、構造、数値出力を要求されるタスクで苦戦。数値タスクで14.8％、配列・構造タスクで24.0％の成功率にとどまりました。

制限事項と今後の方向性

LifeSciBenchはタスクレベルの能力を測る指標であり、下流の研究インパクトを直接的に代替するものではありません。自己完結型タスクに焦点を当てており、仮説が新たな証拠に基づいて修正されるライブ研究の反復的性質は捉えていません。

OpenAIは、これらのベンチマーク結果を実際の研究ワークフローへの導入研究と結びつけ、AIシステムが長期的に発見を加速させたりR&D成果を向上させたりできるかどうかを検証する次のフェーズに取り組むと述べています。