bingreeky/JIT

What it solves

JIT-Agent는 모든 태스크에 대해 단일한 범용 에이전트 스캐폴드(harness)를 사용하는 것의 한계를 해결합니다. 하나의 정적 디자인에 의존하는 대신, 특정 문제의 요구 사항에 최적화된 태스크-특정 하네스를 생성할 수 있게 하여, 기존의 에이전트형 LLM의 성능을 향상시킵니다.

How it works

JIT-Agent는 실행 가능한 태스크-특정 하네스를 즉석에서 생성하는 메타 에이전트 역할을 합니다. 태스크 명세, 프로토콜, 도구 레지스트리, 그리고 이전 하네스 예시를 입력받아 구조화된 코드를 출력합니다. 각 하네스는 메모리(memory), 계획(planning), 행동(action), 그리고 역량 오케스트레이션(capability orchestration)의 네 가지 모듈형 컴포넌트로 구성됩니다. 이러한 모듈은 "HarnessFactory"의 공유 인터페이스를 기반으로 구현됩니다. 에이전트가 피드백과 트레이스(traces)를 받으면, 메타 에이전트는 테스트 시점에 성능을 개선하기 위해 하네스를 수정하며, 생성기(generator) 자체는 고정된 상태를 유지합니다.

Who it’s for

다양한 벤치마크(심층 연구, 계획, 워크스페이스 태스크 등)에서 에이전트의 효과를 극대화하고자 하는 개발자와 연구자들을 위해 설계되었습니다. 수동으로 모든 새로운 태스크에 대해 스캐폴드를 재설계할 필요가 없습니다.

Highlights

• Model-as-a-Harness: 어떤 기존 LLM이라도 동적으로 생성된 태스크-특정 스캐폴드 내에서 작동하도록 래핑합니다.
• Modular Architecture: 하네스를 네 가지 별도의 모듈(memory, planning, action, and capability)로 분리합니다.
• Just-in-Time Evolution: 테스트 단계에서의 피드백을 기반으로 하네스가 수정되고 개선됩니다.
• Transferable Intelligence: 에이전트 스캐폴드를 베이스 모델의 스케일링과 분리된, 학습 가능하고 전이 가능한 지능의 축으로 취급합니다.