OpenAI, 생명 과학 분야에서 에이전트 AI 평가를 위한 LifeSciBench 소개

OpenAI는 AI 시스템이 현실적인 생명 과학 연구 작업을 지원할 수 있는지를 평가하기 위해 설계된 벤치마크인 LifeSciBench를 소개했습니다. 좁은 분야나 개별 기술에 초점을 맞춘 전통적인 평가와 달리, LifeSciBench는 불완전한 증거 해석, 상충되는 결과 조정, 불확실성 하에서 실험 설계 등 현실 연구의 복잡성을 모델이 처리할 수 있는지를 평가합니다.

벤치마크 구성 및 분류 체계

LifeSciBench는 750개의 전문가가 만든 작업으로 구성된 7개의 생물학 분야와 7개의 핵심 연구 워크플로우를 포괄합니다. 이 워크플로우는 실제 연구 현장에서 가장 흔히 수행되는 활동을 파악하기 위해 현직 생명 과학자를 대상으로 설문조사를 진행하여 도출되었습니다:

• Evidence Handling: 다양한 출처에서 과학적 증거를 추출, 조정 및 감사하기.
• Analysis
• Design and Optimization
• Validation and Operations
• Translation: 약물 개발의 "벤치-투-베드사이드" 과정.
• Scientific Reasoning
• Scientific Communication

연구의 실용성을 반영하기 위해, 벤치마크에는 PDF, 그림, 표, 서열 파일, 화학 구조 파일 등 1,062개의 작업 아티팩트가 포함됩니다. 작업의 절반 이상(53%)이 모델이 이러한 아티팩트 중 최소 하나의 정보를 종합하도록 요구합니다.

데이터셋 구축 및 전문가 검증

LifeSciBench는 바이오테크놀로지 또는 제약 산업 현장에서 Ph.D. 수준의 교육과 경험을 가진 173명의 과학자에 의해 개발되었습니다. 구축 과정은 과학적 기반과 엄격함을 강조했습니다:

• Iterative Review: 승인된 작업은 평균 6회의 자동 검토 사이클과 최소 2회의 전문가 검토 라운드를 거쳤습니다.
• Consensus: 검토는 검증 가능한 정답 또는 강력한 전문가 합의에 기반했으며, 해당 분야 검토자들 간 최소 90%의 동의를 요구했습니다.
• Independent Validation: 벤치마크는 453명의 독립 검토자(97%가 Ph.D. 이상)에게 추가 검증되었습니다. 이 검토자들은 실제 작업과의 정렬 및 모델 성능 평가에 대한 유용성 등 카테고리에서 96% 이상의 동의를 보고했습니다.

채점 방법론: 세분화된 루브릭

생명 과학 작업은 종종 단일 "정답"이 없기 때문에, LifeSciBench는 단순 이진 채점 대신 상세하고 작업별 루브릭을 사용합니다. 이 벤치마크는 과학적 정확성과 운영상의 유용성을 평가하기 위해 총 19,020개의 기준(작업당 평균 25개)을 적용합니다.

이 접근법은 부분적인 정확성을 보상할 수 있게 합니다. 모델이 올바른 고수준 결론에 도달했더라도 핵심 분석 제한이나 생물학적 뉘앙스를 간과하면 감점됩니다. 반대로, 작업을 완전히 해결하지 못하더라도 고품질 추론에 대해 부분 점수를 받을 수 있습니다.

모델 성능 및 역량

OpenAI는 두 가지 지표를 사용해 벤치마크를 평가했습니다: Pass Rate(70% 성공 임계값을 만족하는 작업 비율)와 Score(평균 루브릭 보상).

강점 영역

최첨단 모델은 과학적 종합, 커뮤니케이션, 구조화된 해석에서 가장 큰 진전을 보였습니다. GPT‑Rosalind는 전체 정확 Pass Rate가 GPT‑5.5의 25.7%에서 36.1%로 향상되었습니다.

• Scientific Communication: Pass Rate가 GPT‑5.5의 56.3%에서 GPT‑Rosalind의 71.1%로 증가했습니다.
• Translation: Pass Rate가 GPT‑5.5의 36.8%에서 GPT‑Rosalind의 57.7%로 상승했습니다.
• Expert-Useful Outputs: 실행 가능한 출력이 필요한 작업에서 GPT‑Rosalind는 44.7%를 기록했으며, GPT‑5.5는 29.1%에 그쳤습니다.

약점 영역

AI 시스템은 여전히 아티팩트가 많고 운영 제약이 있는 작업에서 어려움을 겪고 있습니다:

• Artifact Integration: 아티팩트가 도입되면 Pass Rate가 크게 감소합니다. GPT‑Rosalind의 Pass Rate는 텍스트 전용 작업에서 45.1%였으나 아티팩트나 URL이 포함된 작업에서는 28.1%로 떨어졌습니다.
• Design and Analysis: "설계, 최적화 및 예측"(Pass Rate 30.7%)과 "분석"(Pass Rate 30.3%)은 여전히 GPT‑Rosalind에게 가장 어려운 워크플로우입니다.
• Exact Outputs: 정확한 서열, 구조 또는 수치 출력을 요구하는 작업에서 모델은 어려움을 겪습니다. GPT‑Rosalind는 수치 작업에서 14.8%, 서열 또는 구조 출력에서는 24.0%만 달성했습니다.

한계 및 향후 방향

LifeSciBench는 작업 수준의 역량을 측정하는 지표이며, 하위 연구 영향에 대한 직접적인 대리 지표는 아닙니다. 이는 독립적인 작업에 초점을 맞추며, 새로운 증거에 따라 가설이 수정되는 실시간 연구의 반복적 특성을 포착하지 못합니다.

OpenAI는 다음 개발 단계에서 이러한 벤치마크 결과를 실제 연구 워크플로우에 대한 배포 연구와 연결하여 AI 시스템이 실제로 발견을 가속화하거나 장기적으로 R&D 결과를 개선할 수 있는지를 판단할 것이라고 밝혔습니다.

SUMMARY: OpenAI는 750개의 전문가가 만든 작업으로 구성된 LifeSciBench 벤치마크를 공개했으며, 이는 AI 시스템이 단순 사실 회상보다 복잡하고 현실적인 생명 과학 연구 워크플로우를 어떻게 처리하는지를 측정하도록 설계되었습니다.

TITLE: OpenAI, 생명 과학 분야에서 에이전트 AI 평가를 위한 LifeSciBench 소개