OpenAI BioBasicsBench: 습식 실험실 과학에서의 AI 에이전트 성능 측정

BioBasicsBench 개요

BioBasicsBench는 원시 실험 데이터 해석, 오류 식별, 결론을 뒷받침할 증거가 불충분한 경우를 인식하는 등 AI 에이전트가 일상적인 습식 실험실 분석을 수행하는 능력을 측정하기 위해 설계된 새로운 벤치마크입니다. 효소 설계 전문 바이오테크 기업인 Ligo와 협력하여 개발된 이 벤치마크는 일상적인 실험실 작업의 모호하고 복잡한 현실보다는 깔끔하게 정리된 출판물 수치에 의존하는 기존 데이터셋의 한계를 해결합니다.

벤치마크 구조 및 방법론

BioBasicsBench는 단백질 방법, 이미징 및 세포 분석, 정량화 및 분석, 핵산 방법, 분자 클로닝 등 습식 실험실 과학의 5가지 핵심 영역에 걸친 100개의 작업으로 구성됩니다. 이 작업들은 다음과 같은 원시 실험 증거를 활용합니다:

• 시각 데이터: 젤 및 블롯 이미지, 플레이트 사진, 현미경 스택 및 벤치 작업 영상.
• 장비 데이터: 플레이트 리더기에서 추출한 원시 데이터, 유세포 분석(FCS) 파일 및 장비 화면.
• 문서: 프로토콜, 실험 노트, 수기 메모 및 시퀀싱 파일.

각 작업에는 전문가가 작성한 채점 기준이 포함되어 있습니다. 이 작업들은 Ligo 내부 과학자, 외부 박사급 습식 실험실 연구원, 그리고 정확성과 관련성을 보장하기 위한 최종 내부 검증을 포함하는 엄격한 다단계 검토 과정을 거쳤습니다.

성능 결과

OpenAI는 37개의 추론 노력 설정에 걸쳐 7개의 모델을 평가했으며, 총 18,500개의 결과를 도출했습니다. 결과는 더 강력한 기본 멀티모달 기능이 실험실 기반 작업의 성능 향상과 상관관계가 있음을 보여줍니다.

'xhigh' 추론 노력 설정에서 GPT-6 Astra는 66.7%의 평균 보상을 달성하여 43.8%를 기록한 GPT-5.6 Sol을 능가했습니다. 이러한 결과는 일상적인 분석 처리에서 진전을 보여주지만, 데이터는 모델이 여전히 복잡한 시각적 해석, 대조군 검증 및 실험적 맥락 유지에 어려움을 겪고 있음을 나타냅니다.

주요 기능 및 한계

추론의 발전

GPT-6 Astra는 다음 분야에서 향상된 성능을 보입니다:

• 데이터 한계 식별: 모호한 신호를 과도하게 해석하지 않고, 확고한 결론을 내리기 위한 증거가 불충분한 경우를 인식하는 능력이 향상되었습니다.
• 멀티모달 통합: 플레이트 라벨과 실험 프로토콜을 연관시켜 결함이 있는 대조군을 식별하는 등 다양한 소스의 정보를 종합하는 능력이 강화되었습니다.
• 맥락 유지: 현미경 이미지에서 초점 변화를 생물학적 현상으로 오해하는 대신 z-스택을 인식하는 등 실험적 맥락을 해석하는 능력이 향상되었습니다.

남은 과제

이러한 발전에도 불구하고 모델은 여전히 신뢰할 수 있는 실험실 지원에서 상당한 실패를 보입니다:

• 가정 편향: 모델은 결과가 예상 패턴과 일치하지 않음에도 PCR 젤에서 콜로니를 잘못 식별하는 등 친숙한 가정이 명확한 증거를 압도하도록 허용할 수 있습니다.
• 확증 편향: 모델은 때때로 이미지나 분석에 대한 선호하는 해석과 충돌하는 모순된 데이터 포인트를 무시합니다.
• 정밀도 오류: 콜로니 계수와 같은 작업에서 모델은 공간 해상도 문제로 어려움을 겪으며, 종종 콜로니를 놓치거나, 빈 배지를 세거나, 밀접하게 배치된 샘플을 구분하지 못합니다.

생물학 연구에 미치는 영향

BioBasicsBench는 실험실 환경에서 AI 신뢰성을 향상시키기 위한 도구 역할을 합니다. 과학자들의 시간을 많이 차지하는 일상적이고 오류가 발생하기 쉬운 작업에 집중함으로써, 이 벤치마크는 개발자들이 실험 워크플로우를 안정적으로 지원할 수 있는 에이전트를 구축하도록 돕는 것을 목표로 합니다. 또한, 이러한 기능을 추적하는 것은 생물학에서 AI의 광범위한 영향을 이해하는 데 필수적이며, 여기에는 생물 안전 및 생물 보안에 대한 중요한 고려 사항이 포함됩니다.