OpenAI BrowseComp 벤치마크 릴리스
OpenAI는 인터넷에서 찾기 어려운 얽힌 정보를 찾아내는 AI 에이전트의 능력을 평가하기 위해 설계된 1,266개의 도전적인 문제로 구성된 새로운 오픈소스 벤치마크인 BrowseComp를 공개했습니다. 이 벤치마크는 기본적인 고립된 사실 검색을 측정하는 SimpleQA와 같은 기존 도구들의 포화 상태를 해결하기 위해, 지속성, 전략적 추론 및 깊이 있는 브라우징을 요구하는 작업에 초점을 맞춥니다.
BrowseComp 설계 및 방법론
BrowseComp는 검증하기는 쉽지만 찾기 어려운 짧고 단일하며 논쟁의 여지가 없는 답을 가진 질문에 초점을 맞춥니다. 이러한 "검증의 비대칭성"은 간단하고 신뢰할 수 있는 채점을 가능하게 하면서도 높은 난이도를 유지합니다.
벤치마크가 계속해서 도전적이도록 보장하기 위해, OpenAI는 생성 과정에서 세 가지 구체적인 검증 체크를 적용했습니다:
- 모델 실패: 트레이너들은 GPT-4o(브라우징 사용 및 미사용), o1, 그리고 초기 버전의 Deep Research 모델이 해당 문제를 해결할 수 없음을 확인했습니다.
- 검색 엔진 저항: 트레이너들은 다섯 번의 간단한 검색 후에도 답이 검색 엔진 결과의 첫 페이지에 나타나지 않음을 확인했습니다.
- 인간 난이도: 작업은 인간이 10분 이내에 해결하기 어려운 형태로 설계되었습니다. 두 번째 트레이너가 40% 이상 해결한 작업은 수정되었습니다.
질문은 종종 "역전" 접근법을 사용하여 생성되었습니다: 트레이너는 알려진 사실(시드)에서 시작해 넓은 검색 공간을 가진 특성을 기반으로 질문을 만들었습니다. 예를 들어, 질문은 저자들의 학부 기관과 학회 연도를 기반으로 특정 과학 논문을 묻는 형태일 수 있으며, 이는 에이전트가 수많은 논문과 저자 배경을 조사하여 일치하는 것을 찾아야 함을 의미합니다.
인간 성능 및 데이터셋 난이도
AI 어시스턴트 없이 인간 트레이너들이 BrowseComp 질문을 해결하려 시도했습니다. 결과는 데이터셋의 극도의 난이도를 강조합니다:
- 성공률: 트레이너들은 문제의 29.2%만 해결했습니다.
- 정확도: 해결된 문제 중 트레이너의 답변이 기준 답과 일치한 비율은 86.4%였습니다.
- 시간 투자: 해결 가능한 많은 문제들은 2~3시간의 연구가 필요했습니다. 해결 불가능한 문제의 경우, 대부분의 트레이너는 약 2시간 검색 후 포기했습니다.
모델 성능 비교
OpenAI는 BrowseComp에 대해 여러 모델을 평가했으며, 기본적인 브라우징 기능만으로는 이러한 작업을 수행하기에 부족함을 보여주었습니다. 결과는 표준 LLM과 특화된 에이전트 모델 간에 큰 격차가 있음을 나타냅니다:
| 모델 | 정확도 (%) |
|---|---|
| GPT-4o | 0.6 |
| GPT-4o w/ browsing | 1.9 |
| GPT-4.5 | 0.9 |
| OpenAI o1 | 9.9 |
| Deep Research* | 51.5 |
*참고: Deep Research 모델은 BrowseComp 작업을 위해 특별히 설계된 데이터로 학습되었습니다.
이 결과에서 도출된 주요 인사이트는 다음과 같습니다:
- 브라우징 vs. 추론: GPT-4o에 브라우징을 활성화했을 때 정확도가 0.6%에서 1.9%로 약간 향상되었으며, 이는 도구 사용만으로는 충분하지 않음을 나타냅니다.
- 내부 지식: 브라우징 기능이 없음에도 OpenAI o1의 정확도가 9.9%로 더 높은 것은 일부 답변을 내부 지식에 대한 추론을 통해 찾을 수 있음을 시사합니다.
- 에이전시 능력: Deep Research 모델의 51.5% 정확도는 자율적인 검색, 다중 출처의 정보 통합, 그리고 검색 전략을 적응시키는 능력의 효과를 보여줍니다.
확장 및 최적화 전략
테스트 시점 연산 확장
BrowseComp에서의 성능은 사용된 테스트 시점 연산량에 따라 부드럽게 확장됩니다. 이러한 작업은 반복적인 브라우징과 정보 결합을 필요로 하기 때문에, 추가적인 추론 시점 연산은 직접적으로 더 나은 결과로 이어집니다.
집계 전략
OpenAI는 질문당 64개의 샘플 출력물을 결합하여 단일 시도보다 정확도를 향상시키는 세 가지 방법을 테스트했습니다:
- 다수결 투표: 가장 흔한 답을 선택합니다.
- 가중 투표: 모델이 생성한 신뢰도 점수에 따라 투표에 가중치를 부여합니다.
- Best-of-N: 가장 높은 신뢰도 점수를 가진 출력을 선택합니다.
Best-of-N은 일관되게 가장 높은 정확도를 달성했으며, 단일 시도 대비 성능을 15%에서 25% 향상시켰습니다. 이는 Deep Research 모델이 자신의 답이 올바른지를 종종 식별할 수 있음을 시사합니다.
작업 난이도 분석
Deep Research와 OpenAI o1의 통과율 분석 결과 작업 난이도에 큰 차이가 있음을 보여주었습니다. Deep Research는 작업의 16%를 완벽히 해결했으며(통과율 100%) 14%의 작업에서는 전혀 통과하지 못했습니다(통과율 0%).
Deep Research가 실패한 질문 집합에 대해, OpenAI는 모델에 정답을 제공하면 모델이 이를 뒷받침하는 증거를 찾을 수 있음을 발견했습니다. 이는 질문이 해결 불가능한 것이 아니라, 전략적 인내와 유연한 검색 재구성을 필요로 했으며, 모델이 자율적으로 달성하지 못했음을 확인시켜 줍니다.