스탠포드 CS329A 강의 4: 툴/코드를 통한 피드백 학습 – ReAct, RLEF, 그리고 Constitutional AI

ReAct: 추론과 툴 사용 결합

ReAct는 모델에게 verbal reasoning traces와 tool calls을 interleaving(교차)하도록 프롬프트하면 지식 집약적 작업에서 더 나은 grounding과 더 해석 가능한 행동을 유도한다는 것을 보여줍니다. 먼저 reasoning trace를 생성하고, 그 trace에 기반하여 행동을 선택하고, 결과를 관찰하며 루프를 반복함으로써 모델은 외부 정보(예: 웹 검색)를 검색하여 reasoning에 통합할 수 있습니다. 이 접근 방식은 모델이 외부 지식 기반에 대해 답을 검증할 수 있기 때문에 순수 chain‑of‑thought에 비해 환각을 줄입니다. HotpotQA, FEVER, 그리고 WebShop에서 ReAct는 action‑only baselines보다 우수하며, chain‑of‑thought self‑consistency 또는 fallback 메커니즘과 결합될 때 표준 기술을 초과합니다. WebShop 결정 작업에서 ReAct는 66.6점을 기록했으며, 인간 전문가는 82.1점을 받아 남은 개선 여지를 보여주지만, 툴 사용을 통한 reasoning grounding의 가치를 보여줍니다.

RLEF: 실행 피드백으로부터 코드 학습

RLEF(실행 피드백으로부터의 강화 학습)는 테스트 실행을 PPO 훈련 루프의 피드백 신호로 취급하여 코드 생성을 개선합니다. 모델은 자연 언어 문제를 받고, 코드를 생성하고, 공개 테스트 세트에 대해 실행하여 즉시 추론‑시간 피드백을 얻으며, 코드가 통과하거나 턴 제한에 도달할 때까지 반복합니다. 최종 솔루션은 숨겨진 비공개 테스트 세트에서 평가되며,その結果이 PPO 업데이트에 대한 보상이 됩니다. 이 두 단계 테스트 전략은 모델이 단순히 공개 테스트 출력을 암기하는 것을 방지합니다. 하이브리드 토큰‑턴 수준 정책은 턴 수준에서 가치 함수를 계산하면서 토큰 하나씩 코드를 생성하여 세밀한 생성 제어를 제공합니다. CodeContests에서의 실험은 더 높은 해결률(예: 훈련에 따라 k에서의 solve rate 10 향상)과 모델이 실행 피드백을 사용하여 코드를 수리함에 따라 잘못된 출력 감소를 보여줍니다. 테스트 통과/실패에 대한 이진 보상은 이러한 비교적 짧은 경쟁 프로그래밍 문제에 충분하며, 이 방법은 다른 코드 생성 벤치마크로 일반화됩니다.

Constitutional AI: 인간 작성 원칙을 통한 자체 비판

Constitutional AI는 인간 작성 원칙 집합(헌법)을 AI‑생성 피드백의 원천으로 사용하여 모델을 harmless하게 훈련합니다. 이 과정은 두 단계로 구성됩니다: 먼저, 모델은 자신의 출력을 헌법과 비교하여 비판하고 수정합니다; 이러한 자체 비판/수정 추적은 지도 미세 조정에 사용됩니다. 두 번째 단계에서는 수정된 출력과 헌법을 기반으로 선호 모델을 훈련시키고, 이 선호 모델은 도움이 되고 harmless한 응답을 생성하도록 강화 학습을 안내합니다. 결과는 harmlessness Elo 점수가 크게 증가하는 반면, helpfulness는 약간 감소할 수 있음을 보여줍니다; Constitutional AI와 chain‑of‑thought을 결합하면 helpfulness와 harmlessness 사이의 최적 파레토 프론티어를 달성합니다. 이 접근 방식은 Constitution을 업데이트하기 위해 소량의 사후 훈련 컴퓨팅만 필요하기 때문에 확장 가능하며, 표준 RLHF가 요구하는 대규모 인간 라벨링이 필요하지 않습니다.

토론: 도전 과제와 확장

이 강의에서는 여러 가지 열린 과제가 강조되었습니다. ReAct에 대해, 노이즈가 있거나 오해를 줄 수 있는 환경 피드백은 반성 레이어나 백트래킹 메커니즘을 추가함으로써 완화할 수 있으며, 반복 샘플링과 다수 투표를 통해 신뢰도를 향상시킬 수 있습니다. ReAct를 더 큰 행동 공간으로 확장하려면 더 많은 시연이 필요하고 추론 비용이 증가하여 효율적인 행동 선택이 필요함을 시사합니다. RLEF에서는 이진 피드백이 복잡한 디버깅 작업에 부족할 수 있으며, 더 풍부한 오류 추적이 수리 효율성을 높일 수 있습니다. Constitutional AI에서는 전체 재훈련 없이 헌법을 업데이트하는 것이 지속적인 학습 문제로 남아 있으며, 모델이 과도하게 자체 비판에 의존하지 않도록 보장하기(과신 가능성 때문에) ensemble‑based 비판이 도움이 될 수 있습니다. 토론에서는 인간이 작업 분해, 병렬 사고, 기억, 그리고 적응적인 reasoning‑to‑action 비율과 같은 추가 인지 메커니즘을 사용한다는 점도 언급되었는데, 이러한 요소들은 미래 에이전트 설계에 통합될 수 있습니다.