BioMysteryBench를 활용한 클로드의 생물정보학 연구 능력 평가

Anthropic는 실제 데이터셋을 사용하여 복잡하고 개방형 연구 문제를 해결할 수 있는지 평가하기 위해 설계된 새로운 생물정보학 벤치마크인 BioMysteryBench를 개발했다. 평가 결과, 클로드의 과학적 능력은 세대를 거치며 급속도로 향상되고 있으며, 최신 모델들은 인간 전문가와 동등한 성능을 보이며 인간 전문가 패널이 해결하지 못한 몇 가지 문제도 해결했다.

생물정보학 연구 평가의 도전 과제

전통적인 벤치마크는 실제 연구의 복잡하고 개방적인 성격을 충분히 반영하지 못하기 때문에 과학적 AI를 평가하는 것은 어렵다. Anthropic는 표준 과학 벤치마크를 만들기 위한 세 가지 주요 장애물을 지적했다.

방법론적 다양성: 생물학에서는 연구자의 배경과 이용 가능한 자원에 따라 문제를 해결하는 '정답'이 여러 가지일 수 있다.
주관성과 노이즈: 생물학적 데이터셋은 종종 노이즈가 많아, 주관적인 연구 결정의 미세한 차이가 완전히 다른 결론을 초래할 수 있다.
인간 지식의 공백: 가장 영향력 있는 연구 과제는 인간이 아직 해결하지 못한 것들이며, 이로 인해 인간 성능을 유일한 기준으로 삼는 것은 불가능하다.

BioMysteryBench: 과학을 위한 검증 가능한 프레임워크

BioMysteryBench는 다양한 생물정보학 분야의 도메인 전문가들이 작성한 99개의 질문으로 구성되어 있다. 위에서 언급한 평가 과제를 극복하기 위해, 이 벤치마크는 네 가지 핵심 특성을 채택한다.

방법론 무관 평가: 클로드는 구체적인 분석 경로가 아니라 최종 답변에 따라 평가되며, 이는 연구 창의성을 허용한다.
객관적 기준: 답변은 데이터의 조절 가능한 특성이나 검증된 메타데이터(예: PCR 검사)에서 유도되며, 주관적인 과학적 결론이 아닌 것이다.
초인적 질문 생성: 답변이 데이터 특성에 기반하기 때문에, 인간 전문가가 해결하기에 너무 어려웠던 문제도 객관적으로 해결 가능한 문제를 포함한다.
도구 지원 환경: 클로드는 표준 생물정보학 도구가 설치된 컨테이너 내부에 배치되며, pip 및 conda를 통해 새로운 도구를 설치할 수 있고, NCBI 및 Ensembl과 같은 데이터베이스에 접근할 수 있다.

질문은 주로 DNA 및 RNA 시퀀싱 데이터(WGS, scRNA-seq, 메틸화, ChIP-seq, 메타게놈, Hi-C)뿐만 아니라 단백질체학 및 대사체학에 초점을 맞춘다.

성능 비교: AI vs. 인간 전문가

Anthropic는 각 질문에 대해 최대 5명의 도메인 전문가를 배정하여 벤치마크를 기준화했다. 이를 통해 작업을 두 가지 범주로 나누었다.

인간이 해결 가능한 작업

최소한 한 명의 인간이 해결할 수 있는 76개 작업에서 클로드는 강력한 성능을 보였으며, 종종 인간의 전략을 모방했다. 일부 경우에서 클로드는 인간이 TATA 박스를 발견했을 때와 유사한 '직관'을 사용하여 패턴이나 서열을 인식했다. 이는 전통적인 알고리즘적 접근과 다르다.

인간이 어려워하는 작업

전문가들이 해결하지 못한 23개 질문 중에서, 클로드 손넷 4.6 및 더 진보된 모델들이 상당 부분을 해결했다. 클로드 마이스 프리뷰는 이러한 인간이 어려워하는 문제들에 대해 30%의 해결률을 기록했다.

클로드의 연구 전략 분석

옵스 4.6의 전사 기록을 분석한 결과, 클로드가 어려운 작업에서 인간을 능가하는 데 도움이 되는 두 가지 주요 전략이 드러났다.

"모든 것을 아는" 접근법: 클로드는 수십만 건의 논문에서 수집한 구조 생물학, 분자 프로파일, 메타 분석에 대한 방대한 내부 지식을 활용하여, 인간이 여러 데이터베이스를 수동으로 연결해야 하는 문제를 해결한다.
증거 쌓기: 확신이 없을 경우, 클로드는 다양한 방법을 여러 번 적용하고, 여러 증거 라인에 의해 지지되는 답변에 수렴한다.

신뢰성과 능력의 경계

클로드 마이스 프리뷰를 사용해 데이터를 분석한 결과, 두 집단 간의 "승리" 신뢰성에 명확한 차이가 있었다.

신뢰할 수 있는 승리: 인간이 해결 가능한 문제에서, 옵스 4.6는 성공한 문제의 86%를 최소 5번 중 4번 이상 해결했으며, 이는 신뢰할 수 있는 방법을 의미한다.
취약한 승리: 인간이 어려워하는 문제에서는 "취약한 승리"(5번 중 1~2번만 해결) 비율이 44%로 급증했다.

이는 모델이 가장 어려운 문제를 해결할 수는 있지만, 종종 반복 가능한 해결책이 아닌 "운이 좋은" 추론 경로를 통해 해결한다는 것을 시사한다.

산업의 통합과 미래 전망

Anthropic는 이러한 결과가 제네틱스와 로슈가 발표한 유사한 벤치마크인 CompBioBench에서도 동일하게 나타났다고 지적했다. 해당 평가에서 클로드 옵스 4.6는 전반적인 정확도 81%와 가장 어려운 질문에서 69%의 정확도를 기록했으며, 이는 선도 모델이 생물정보학 연구에서 유용한 협업자로서의 역할을 강화함을 더욱 입증한다.