zgcagi/Harness-RSI

해결하는 문제

대규모 언어 모델은 일반적으로 고정된 것으로 간주됩니다. 즉, 새로운 작업마다 모델을 재학습하지 않습니다. 그러나 모델을 둘러싼 "하네스(harness)" — 모델이 호출할 수 있는 도구, 읽는 프롬프트, 메모리, 실행 제어 방식 — 는 업데이트가 가능합니다. 본 프로젝트는 하네스 자기 진화(harness self-evolution)에 관한 증가하는 연구를 조사하고 정리합니다. 이는 에이전트 자신의 실행 경험을 사용하여 하네스 상태를 수정함으로써, 동일한 기본 모델 하에서 후속 실행의 성능을 향상시키는 시스템입니다. 정의, 분류 체계, 분류된 읽기 목록을 제공함으로써 이 빠르게 발전하는 분야의 통합된 관점 부족 문제를 해결합니다.

작동 원리

하네스 H는 모델 M이 환경 E에서 작동하는 방식을 규정하는 소프트웨어 및 구성(도구, 컨텍스트 구성, 메모리, 실행 제어 포함)으로 정의됩니다. 평가자 J가 각 궤적을 점수화하며, 하네스 자기 진화는 일련의 궤적을 사용하여 후속 실행을 위한 업데이트된 하네스를 계산합니다. 이 업데이트 메커니즘 자체도 추가 수정의 대상이 될 수 있습니다. 수락된 상태는 저장되어 나중에 로드되며, 거부된 후보는 하네스를 변경하지 않습니다. 이 서베이 전반에 걸쳐 기본 모델은 고정된 상태로 유지됩니다.

본 리소스는 이 분야를 두 개의 주요 업데이트 대상 분야와 평가 및 이론을 위한 별도의 분야로 정리합니다:

• 해석적 업데이트: 고정된 호스트가 읽는 내용을 수정합니다: 프롬프트 및 지침(스칼라 점수 검색, 텍스트 그래디언트 비평, 자기 참조적 변이), 메모리 및 재사용 가능한 절차(경험 마이닝, 절차적 스킬북, 게이트 통합), 워크플로우 및 토폴로지(고정 파이프라인 컴파일, 그래프/토폴로지 검색, 피드백 기반 워크플로우 수정).
• 실행 가능 업데이트: 호스트가 실제로 호출하는 구현을 수정합니다: 호출 가능한 도구 합성 및 증거 기반 컴포넌트 패치.

또한 선행 연구(예: EURISKO, Gödel Machines), 관련 서베이 목록, 그리고 66페이지 분량의 전체 보고서, 18페이지 분량의 짧은 논문, 분류 데이터, 프로젝트 페이지를 포함한 보조 자료를 제공합니다.

대상 독자

에이전트 시스템, 자기 개선 에이전트, 프롬프트 및 기술 최적화, LLM 애플리케이션 개발을 연구하는 연구자, AI 엔지니어, 대학원생. 본 리소스는 주제별로 색인된 항목(각 논문 링크 포함)을 갖춘 읽기 가이드로 구성되어 있어, 자기 진화 하네스의 지형을 파악하거나 관련 선행 연구를 찾거나, 저자들의 서베이 및 분류 체계를 확인하려는 모든 이에게 적합합니다.

주요 특징

• 하네스 자기 진화를 정의하고 단순한 자기 개선(자기 개선은 평가를 통해 확립된 유익한 변화를 필요로 함)과 구분합니다.
• 업데이트 대상을 해석적(프롬프트, 메모리, 워크플로우) 및 실행 가능(도구, 코드 패치) 범주로 나누고, 평가와 이론을 별도의 분야로 분류하는 체계를 제공합니다.
• APE와 Reflexion부터 DSPy, Voyager 등에 이르기까지 방대하고 분류된 문헌 목록을 큐레이션하며, 각 논문 링크와 가능한 경우 코드 및 프로젝트 링크를 제공합니다.
• 66페이지 분량의 전체 서베이 보고서, 18페이지 분량의 짧은 논문, 분류 데이터(JSON), 그리고 방향 설정을 위한 관련 서베이 세트를 포함합니다.
• 이 분야의 계보를 뒷받침하기 위해 EURISKO 및 Gödel Machines와 같은 역사적 선행 연구를 다룹니다.