Elicit: 신뢰할 수 있는 과학적 추론을 위한 세계 모델 구축

논제: 결과 기반 AI를 넘어서는 전환

고위험 과학적 결정을 지원하려면 AI는 답을 제공하는 "블랙 박스"에서 검증 가능한 과정을 제공하는 투명한 시스템으로 전환해야 합니다. Elicit는 최종 출력만이 아니라 단계별 추론을 보상하고 평가하는 프로세스 감독에 초점을 맞추어 모델이 작업을 완수했다고 "환각"하거나 설득력은 있지만 근거가 없는 결론을 내리는 것을 방지합니다.

도메인 특화 언어(DSL)를 통한 신뢰할 수 있는 추론

Elicit는 대형 언어 모델(LLM)의 내재된 "모호함"을 해결하기 위해 추론 기본 요소를 정의하는 도메인 특화 언어(DSL)를 구현합니다. 이 아키텍처를 통해 최첨단 모델은 정의된 대로 실행이 보장되는 구조화된 워크플로를 조정할 수 있습니다.

대규모 신뢰성

사용자는 몇 편의 논문에 대해서는 모델의 출력을 수동으로 확인할 수 있지만 10,000편에 대해서는 불가능합니다. Elicit의 DSL은 첫 번째 문서와 10,000번째 문서에 동일한 엄격한 프로세스가 적용되도록 보장합니다. 이러한 체계성은 일반 목적 연구 에이전트와 구별되는 핵심 차별점이며, 후자는 대규모 데이터 코퍼스를 분석했다고 주장하지만 실제 검증 시 그렇지 못한 경우가 많습니다.

프로세스 감독의 역할

프로세스 감독은 결과 중심으로 훈련된 모델이 인간 평가자에게는 올바르게 보이지만 실제 작업을 수행하지 않은 "보상 해킹"에 빠지기 쉬우므로 매우 중요합니다. Elicit는 결과가 올바른 이유로 도출되었는지를 보장하려면 프로세스를 모니터링해야 한다고 강조합니다—예를 들어 모델이 결론을 내리기 전에 논문의 어떤 구역을 읽었는지를 추적하는 식입니다.

외부 세계 모델 및 지식 표현

5,000편 이상의 특정 암 치료에 관한 논문과 같은 방대한 증거를 다루기 위해 Elicit는 외부 세계 모델로 전환하고 있습니다. 모델의 내부 가중치나 거대한 컨텍스트 윈도우에 의존하는 대신, 인간과 AI가 모두 검토할 수 있는 구조화된 표현을 사용합니다.

텍스트 파일을 넘어

단순 마크다운 위키( "LLM Wiki" 개념과 유사)만으로 시작할 수 있지만, Elicit는 다음을 지원하기 위한 보다 정교한 표현을 탐구합니다:

• 예측: 현재 증거를 기반으로 결과를 예측합니다.
• 중재: 특정 변수를 변경했을 때 발생하는 일을 분석합니다.
• 반사실: 다른 경로를 택했을 경우 어떤 결과가 나왔을지를 결정합니다.

이질적인 표현

세계 모델은 하나의 형식에 국한되지 않습니다. 사용 사례에 따라 세계 모델은 생물학적 메커니즘을 위한 인과 그래프(노드와 화살표), 사용자 지표를 위한 SQL 테이블, 혹은 제품 개발을 위한 "기술 트리"가 될 수 있습니다. 핵심 과제는 이러한 서로 다른 표현 간에 정보가 일관되게 전파되도록 하는 것입니다.

증거와 신뢰도 평가

과학 연구에서는 모든 증거가 동등하지 않습니다. Elicit는 인용 횟수나 저널 임팩트 팩터와 같은 손실이 큰 프록시 대신, 품질에 기반해 증거를 구별하는 데 중점을 둡니다.

신뢰도 보정

모델에게 자신이 얼마나 확신하는지를 물어보는 언어적 보정은 현재 토큰 확률보다 더 유용합니다. 그러나 모델은 여전히 "쉽게 휘둘린다"는 점이 있습니다. 사용자가 반론을 제시하면 모델은 신뢰도를 너무 쉽게 조정하는 경향이 있습니다. Elicit는 명시적 증거에 근거해 주장을 고정하고, 통찰을 개별적인 검증 가능한 주장으로 분해함으로써 보다 안정적인 확률을 구축하고자 합니다.

"검증하기 어려운" 문제

기업 전략과 같은 고수준 작업은 대부분 "검증하기 어렵다"는 특성을 가집니다. Elicit는 이러한 모호하고 고수준 작업을 검증하기 쉬운 작은 작업들의 그래프로 분해합니다. 수학이나 코딩에서는 형식적 검증이 가능하지만, 과학적 추론은 적절한 단계가 수행되었음을 증명하는 추론 증명서—읽을 수 있는 추적 기록—가 필요합니다.

AI 운영화: "The Line"과 토큰 경제학

Elicit는 자체 내부 운영에 "The Line"이라는 자동화된 소프트웨어 엔지니어링 파이프라인을 적용해 추론 철학을 구현합니다.

자동화 엔지니어링

"The Line"은 기능 개발의 전 과정을 자동화합니다: 스펙 작성, 구현, 테스트(녹화된 비디오를 통해), 코드 리뷰, 병합. 현재 이 시스템은 주당 30~50개의 이슈를 자동으로 병합하며, 스펙이 불완전하거나 기능이 자동 리뷰에 너무 복잡할 때만 인간이 개입합니다.

토큰 경제학

토큰 비용이 상승함에 따라 Elicit는 모든 작업에 가장 큰 모델을 사용하는 방식을 지양하고 있습니다. 대신, 스마트 오케스트레이터를 활용해 간단한 작업은 작은, 효율적인 모델에 할당하고, 최첨단 모델은 고수준 추론 및 오케스트레이션에만 사용합니다.

과학 분야 AI의 미래

창업자들은 과학을 위한 AI의 미래는 단일 "승자"가 아니라 방대한 도구 생태계라고 주장합니다. 그들은 토큰/단어 단위의 이산화가 순수 연속 가중치 공간 표현(신경어)에서는 부족한 필수적인 오류 교정 기능을 제공한다고 제시합니다. 읽을 수 있는 이산적 추론 흔적을 유지함으로써 AI는 불투명한 신탁이 아니라 인간이 주도하는 발견을 지원하는 도구로 남을 수 있습니다.

---

요약: Elicit 공동 설립자인 Andreas Stuhlmüller와 Byun Jungwon은 도메인 특화 언어와 외부 세계 모델을 활용해 고위험 과학 연구에서 투명하고 체계적이며 검증 가능한 추론을 보장하는 방법을 논의합니다.

제목: Elicit: 신뢰할 수 있는 과학적 추론을 위한 세계 모델 구축