Novelty-Bench: 과학 연구 평가에서 LLM의 신뢰성 평가

AI 참신성 판단의 신뢰성 평가

자동화된 과학적 발견은 AI 시스템이 진정으로 참신한 연구 아이디어와 기존 연구를 단순히 재포장한 아이디어를 구별하는 능력에 달려 있습니다. 새로운 연구인 Old Ideas, Novel Problems는 현재의 거대 언어 모델(LLM) 참신성 판별기가 신뢰할 수 없으며, 프롬프트, 평가 설정, 평가 대상 아이디어의 성격에 따라 성능이 크게 변동한다는 것을 보여줍니다.

Novelty-Bench 벤치마크

참신성 판별기의 효과를 측정하기 위해 Allen Institute for AI (Ai2)의 연구원들은 ICLR 2026 동료 심사를 사용하여 벤치마크를 개발했습니다. 연구팀은 논문 채택 여부에 의존하는 대신, 기여의 독창성에 대해 명시적으로 논의한 심사위원의 의견을 추출했습니다.

두 가지 평가 설정이 생성되었습니다:

• Human-Only: 154개의 높은 참신성 아이디어(채택된 논문 상위 10%)와 145개의 낮은 참신성 아이디어(거부된 논문 하위 10%)를 쌍으로 구성.
• Human+Generated: 154개의 높은 참신성 인간 아이디어와 기본 LLM이 생성한 154개의 아이디어를 쌍으로 구성하여, 인간의 연구와 AI 생성 결과물을 비교하기 위한 기준점을 제공.

프롬프트 및 모델 불안정성에 대한 민감도

GPT-5 및 Claude 4.5/4.6 시리즈 모델을 포함한 6개의 LLM 판별기를 테스트한 결과, 참신성 평가는 매우 취약한 것으로 나타났습니다.

• 프롬프트 민감도: 한 실험에서 프롬프트 문구의 간단한 변경만으로도 더 참신한 아이디어를 식별하는 모델의 정확도가 93.5%에서 40.9%로 떨어졌습니다.
• 불일치: Human-Only 데이터셋에서 사소한 변화를 일으켰던 동일한 프롬프트 변경이 Human+Generated 데이터셋에서는 극적인 성능 변화를 초래했으며, 이는 판별기가 AI 생성 콘텐츠를 평가할 때 특히 불안정하다는 것을 나타냅니다.
• 전이성 부족: 한 모델의 정확도를 향상시킨 프롬프트가 다른 모델에서는 성능을 저하시키는 경우가 많았으며, 이는 참신성 판별기를 위한 보편적인 "모범 사례"가 없음을 시사합니다.

전문화된 시스템 대 단순 시스템의 성능

더 복잡하고 목적에 맞게 구축된 시스템이 단순한 프롬프트 기반 기준점보다 반드시 더 나은 결과를 내는 것은 아닙니다. 이 연구는 표준 검색 판별기와 높은 추론 예산 및 실시간 반복 검색을 사용하는 에이전트 시스템을 비교했습니다.

• 효율성: 간단한 Claude Opus 4.6 프롬프트는 결정당 $2.59의 비용으로 0.854의 macro-F1 점수를 달성했습니다.
• 비용-성능 격차: "Idea Novelty Checker" 및 "AI Scientist" 평가자와 같은 전문 시스템은 더 낮은 점수(각각 0.642 및 0.772)를 기록하면서도 훨씬 더 많은 비용(결정당 $30.66 및 $82.05)이 발생했습니다.

자동화된 발견에 대한 시사점

이러한 결과는 AI가 생성한 연구의 참신성을 검증하는 현재의 방법이 불충분함을 시사합니다. 참신성 판별기는 인간이 작성한 아이디어와 AI가 생성한 아이디어에 대해 다르게 행동하기 때문에, 인간의 논문만으로 이러한 시스템을 검증하는 것은 실제 성능을 평가하는 데 부적절한 대리 지표입니다. 연구원들은 커뮤니티가 AI 기반 과학적 발견을 위해 더 강력하고 신뢰할 수 있는 평가 방법을 개발할 수 있도록 벤치마크, 데이터 및 코드를 공개했습니다.