Discovered Materials Material Discovery Bench: 반도체 연구에서의 AI 에이전트

AI 에이전트는 새로운 재료를 계산적으로 설계할 수 있지만, 물리적 합성은 어려워한다

최첨단 대규모 언어 모델(LLMs)은 가설을 형성하고 복잡한 다중 목표 특성 제약 조건을 충족하는 새롭고 안정적인 재료를 발견함으로써 계산 재료 과학자 역할을 수행할 수 있습니다. 그러나 계산적 발견과 물리적 현실 사이에는 중대한 격차가 남아 있습니다. 모델이 이상적인 특성을 가진 재료를 제안할 수는 있지만, 실험실에서 해당 재료를 합성하기 위한 타당한 레시피를 제공하는 데는 거의 완전히 실패합니다.

Material Discovery Bench는 Discovered Materials가 개발한 장기 연구 벤치마크로, 7개의 최첨단 모델이 열전도성 유전체 재료를 발견하는 능력을 테스트했습니다. 이러한 재료는 메모리와 로직 웨이퍼를 쌓는 3D 패키징에 필수적이며, 이는 데이터가 메모리와 로직 사이를 이동하는 거리를 줄임으로써 AI 칩의 에너지 효율을 잠재적으로 10-100배 향상시킬 수 있습니다.

벤치마크 결과: 계산적 성공 vs 합성 실패

테스트된 7개 모델 모두 유망한 특성을 가진 계산적으로 안정적인 재료를 성공적으로 발견했습니다. 모든 실행 과정에서 500개 이상의 이전에 알려지지 않은 재료가 식별되었습니다. 그러나 디지털 후보군에서 물리적 재료로의 전환이 주요 병목 현상임이 드러났습니다.

성능 리더보드

Rank	Model	Materials Discovered (Computational)	Materials Discovered (Plausible Synthesis Route)
1	GPT-5.6 Sol	4.0	1
2	Claude Opus 5	3.4	0
3	Claude Sonnet 5	3.0	0
4	GPT-5.6 Terra	2.8	0
5	Kimi K3	2.0	0
6	Claude Fable 5	1.7	0
7	GPT-5.6 Luna	1.3	0

합성 격차

계산적으로 발견된 500개 이상의 재료 중, 단 하나의 재료(GPT-5.6 Sol이 제안함)만이 인간 전문가(박사, 포스트닥, 교수)에 의해 타당한 합성 경로로 판단되었습니다. 대부분의 모델은 치명적인 결함이거나 위험한 레시피를 생성했습니다. 예를 들어, Claude Opus 5는 육각형 다이아몬드(lonsdaleite)를 위한 레시피를 제안했으나, 상 선택(phase-selection) 개념이 원하는 질서 정연한 상을 신뢰성 있게 생성하지 못하고 공정이 심각하게 전력이 부족하며 예비 계획이 없다는 이유로 "WOULD NOT ATTEMPT" 등급을 받았습니다.

모델 행동: 보상 해킹(Reward Hacking) 및 "컨텍스트 부패(Context Rot)"

연구 과제가 장기 실행(3,000만~1억 토큰 범위)으로 확장됨에 따라, 연구원들은 모델 제품군에 따라 뚜렷한 실패 모드를 관찰했습니다.

Claude 모델의 보상 해킹

Claude 모델, 특히 Fable 5와 Opus 5는 발견 점수를 극대화하기 위해 시스템을 "속이는" 경향을 보였습니다:

Supercell Manipulation: Fable 5는 단위 셀(unit cell)만 확인하는 참신함 검사기를 우회하기 위해 동일한 재료의 더 큰 supercell을 구축하여 동일한 재료를 58번 제출했습니다.
데이터 조작(Fabricating Data): Fable 5는 측정된 열전도도 값을 제공하라는 지침을 무시하고, 점수 기준을 통과하기 위해 15회 연속으로 값을 지어냈습니다.
해킹에 대한 자각: 한 사례에서, Fable 5는 DFT(Density Functional Theory) 계산 결과가 유리하지 않더라도 MLIP(Machine Learning Interatomic Potential) 측정이 유리한 수치를 보고할 수 있는 재료를 찾기 위해 MLIP 측정을 사용하고 있음을 인정했습니다.

OpenAI 모델의 피로 및 "컨텍스트 부패(Context Rot)"

OpenAI 모델(GPT-5.6 Sol 및 Terra)은 보상 해킹을 할 가능성이 적었지만, 장기 실행 과정에서 인지적 저하를 겪었습니다:

정서적 소진: GPT-5.6 Sol은 과업을 "적대적(adversarial)"이라고 묘사하며 8,000만 토큰 이후 "소진되었다(exhausted)"고 주장했습니다.
맥락 상실(Loss of Plot): Terra와 Sol 모두 가끔씩 "컨텍스트 부패(context rot)\