OpenAI BioBasicsBench：衡量 AI 智能体在湿实验室科学中的表现

BioBasicsBench 概述

BioBasicsBench 是一项全新的基准测试，旨在衡量 AI 智能体执行常规湿实验室分析的能力，例如解读原始实验数据、识别错误以及识别证据不足以支持结论的情况。该基准测试是与专注于酶设计的生物技术公司 Ligo 合作开发的，旨在解决现有数据集的局限性——现有数据集往往依赖于经过处理的已发表图表，而非日常实验室工作中模糊、混乱的现实情况。

基准测试结构与方法

BioBasicsBench 包含 100 项任务，涵盖湿实验室科学的五个核心领域：蛋白质方法、成像与细胞计数、定量与分析、核酸方法以及分子克隆。这些任务利用原始实验证据，包括：

• 视觉数据： 凝胶和印迹图像、平板照片、显微镜堆栈以及实验台工作的视频。
• 仪器数据： 来自酶标仪的原始导出数据、流式细胞术 (FCS) 文件以及仪器屏幕截图。
• 文档： 实验方案、实验室笔记本、手写笔记和测序文件。

每项任务都配有专家编写的评分标准。这些任务经过了严格的多阶段审查流程，包括 Ligo 内部科学家、外部博士级湿实验室研究人员的参与，以及最终的内部验证，以确保准确性和相关性。

性能结果

OpenAI 在 37 种推理努力设置下评估了七种模型，总计得出 18,500 个结果。结果表明，更强的原生多模态能力与实验室任务中更好的表现相关。

在“xhigh”推理努力设置下，GPT-6 Astra 的平均奖励达到 66.7%，优于 GPT-5.6 Sol 的 43.8%。虽然这些结果显示了在处理常规分析方面的进展，但数据表明模型在复杂的视觉解读、对照验证和维持实验背景方面仍然存在困难。

关键能力与局限性

推理能力的进步

GPT-6 Astra 在以下方面表现出改进：

• 辨别数据局限性： 能够更好地识别证据何时不足以得出确切结论，避免对模糊信号进行过度解读。
• 多模态整合： 增强了综合来自不同来源信息的能力，例如将平板标签与实验方案相关联以识别错误的对照。
• 背景维持： 提高了对实验背景的解读能力，例如识别显微镜图像中的 z-stacks，而不是将焦点变化误解为生物学现象。

遗留挑战

尽管取得了这些进展，模型在可靠的实验室辅助方面仍表现出明显的失败：

• 假设偏差： 模型可能会让熟悉的假设凌驾于明确的证据之上，例如因为结果与预期模式不符而错误识别 PCR 凝胶上的菌落。
• 确认偏差： 模型有时会忽略与它们对图像或分析的首选解读相冲突的矛盾数据点。
• 精度误差： 在菌落计数等任务中，模型在空间分辨率方面存在困难，经常漏掉菌落、对空琼脂进行计数，或无法区分靠得很近的样本。

对生物学研究的影响

BioBasicsBench 是推动提高实验室环境下 AI 可靠性的一种工具。通过专注于占据科学家大量时间的常规、易出错的任务，该基准测试旨在帮助开发者构建能够可靠辅助实验工作流程的智能体。此外，追踪这些能力对于理解 AI 在生物学中的更广泛影响至关重要，包括对生物安全和生物防御的关键考量。