Stanford CS329A 자기 개선 AI 에이전트 미래 연구 분야 강의 요약

강의에서는 자기‑개선 AI 에이전트를 발전시키기 위한 네 가지 핵심 연구 전선을 제시한다: 추론 체인의 다양성 향상, 검증 루프 강화, 모델이 스스로 학습 과제를 제안하도록 하기, 그리고 지능‑당‑와트(intelligence per watt)로 측정되는 추론 효율성 향상.

추론 체인의 다양성 (멀티‑에이전트 파인튜닝)

단일 언어 모델을 사용해 합성 데이터를 생성하면 변동성이 낮은 추론 체인이 만들어져 몇 차례 파인튜닝을 거친 뒤 성능이 정체된다. 멀티‑에이전트 파인튜닝은 여러 특화된 생성 에이전트를 활용해 다양한 초기 솔루션을 만들고, 이를 평가·정제하는 비평가 에이전트를 두어 이 문제를 해결한다. 반복마다 생성 에이전트는 동료 출력물을 요약한 뒤 다음 응답을 생성하고, 비평가들은 정답과 오답을 대비하도록 학습한다. 이 과정은 무료로 다수결‑형식의 다양성을 제공하고, 수학 벤치마크에서 지속적인 성능 향상을 가능하게 한다(예: Llama가 반응성을 보임). 또한 GSM‑8k와 같은 인접 데이터셋에 대한 일반화에서도 단일‑에이전트 파인튜닝처럼 정확도가 급락하지 않는다.

검증 및 메타‑검증 (DeepSeekMath‑V2)

결과 보상 모델만을 의존하면 특히 정리 증명에서 올바른 최종 답이 잘못된 단계들을 가릴 수 있어 결함 있는 추론 체인을 잡아내지 못한다. DeepSeekMath‑V2는 증명에서 문제를 감지하는 검증자를 도입하고, 검증자가 찾은 문제가 실제인지 판단하는 메타‑검증자를 추가한다. 인간이 문제 있는 증명을 라벨링하고, 검증자는 0.5‑1 스케일로 증명을 점수화하도록 학습되며, 메타‑검증자는 검증자의 분석을 평가한다. 이 루프를 반복하면 증명 점수가 향상된다: 8번째 반복 후 점수가 상승하고, 32개의 생성된 증명 중 최상을 선택하면 2024년 IMO 후보군에서 약 42%에 도달한다. 생성자는 더 높은 품질의 증명을 선호하도록 학습되어 검증 병목을 해소한다.

자체 생성 과제 커리큘럼 (Absolute Zero)

모델이 인간 수준을 초과하면서 프롬프트와 검증 과제의 큐레이션이 병목이 된다. Absolute Zero는 단일 모델이 스스로 과제를 제안하고 해결하도록 한다. 제안자는 귀납·연역·귀납 코딩 과제를 만들며, 과거 예시를 조건으로 삼아 다양성을 촉진하고, 과제 난이도(1 − 성공률)에 기반한 보상을 받아 중간 난이도 과제(해결자는 가끔 성공하고 가끔 실패)를 목표로 한다. 제안된 과제는 실행, 안전 검사, 결정적 출력 검사를 통해 검증되며, 씨앗 삼중항 버퍼가 커리큘럼 학습을 지원한다. 결과는 인간이 큐레이션한 프롬프트 데이터 없이도 최첨단 코딩 성능을 보여주며, 수만 개의 전문가 예시로 학습한 모델을 능가한다. 시간이 지남에 따라 복잡도와 다양성이 증가하고, 수학 벤치마크로의 전이 효과도 나타난다; 대형 모델일수록 이익이 크다.

지능‑당‑와트 효율성 향상

지능‑당‑와트는 평균 과제 정확도를 과제 해결에 소요된 평균 전력 소비로 나눈 값으로 정의되며, ≤20B 활성 파라미터의 로컬 모델을 사용한다. 2023년 이후 이러한 모델이 해결할 수 있는 챗봇 질의 비율이 3.1배 상승해 실제 질의의 88.7%에 도달했다. 하드웨어 효율성은 추가로 1.7배를 기여해 2년 동안 총 5.3배의 지능‑당‑와트 향상을 이루었다. 로컬 가속기(예: Apple M4 Max)는 기업용 칩인 B200에 비해 약 1.5배 낮은 지능‑당‑와트를 보이지만, 추론의 점점 더 많은 부분을 엣지 디바이스로 옮길 수 있다는 추세가 나타난다.

열린 연구 질문

지속 학습: 문제 해결에서 얻은 긍정·부정 경험을 오프라인 파인튜닝이 아니라 온라인 방식으로 모델 가중치나 메모리에 통합하는 방법은? 장기 메모리 시스템, 대용량 컨텍스트 윈도우, 지식‑베이스 캐시 등을 활용할 수 있다.
테스트‑타임 스케일링 인프라: 추론 중 반복 샘플링, 도구 호출, 검색을 최적화하는 시스템이 필요하다. hydrogen token SRS와 같은 작업을 기반으로 고처리량·저지연 워크로드를 처리한다.
하이브리드 로컬‑클라우드 추론: 질의 복잡도에 따라 로컬 모델과 클라우드 모델 간 트래픽을 동적으로 라우팅하는 메커니즘을 개발하고, 로컬 가속기를 위한 에너지 효율 커널을 함께 설계한다.
검증 불가능 영역: 칩 설계나 과학 시뮬레이션처럼 정답 검증이 느리거나 비용이 많이 드는 분야에서는 오프라인 데이터를 활용해 시뮬레이션 결과를 예측하는 보상 모델을 학습한다. 모델 일반성은 데이터 커버리지에 의존하며 부정확성 위험을 내포한다.

이러한 방향은 현재 자기‑개선 AI 에이전트의 한계와 새로운 기회를 강의가 분석한 바로부터 도출된 것이다.