Hugging Face AI Agent 용어 사전: Harness, Scaffold 및 Agent Architecture 정의

Hugging Face는 빠르게 진화하는 AI agent 어휘를 표준화하기 위해 기술 용어 사전을 공개했습니다. 핵심 요점은 Agent = Model + Harness라는 점이며, 여기서 model은 추론을 제공하고 harness는 실행 루프와 환경 상호작용을 제공합니다.

핵심 Agent Architecture

AI agent는 단순히 거대 언어 모델(LLM)이 아니라, 원시 텍스트 생성을 관찰(observation), 결정(decision), 행동(action)의 루프로 전환하는 시스템입니다. 이 아키텍처는 세 가지 주요 구성 요소로 나뉩니다:

The Model

model은 텍스트 입력을 받아 텍스트 출력을 생성하는 기반 LLM(예: Claude, GPT, DeepSeek)입니다. 모델 자체만으로는 호출 간의 메모리가 없으며 실행 루프도 없습니다. 도구를 사용하겠다는 의도를 표현할 수는 있지만, 독립적으로 해당 도구를 실행할 수는 없습니다.

Scaffolding

Scaffolding은 모델이 세상에서 어떻게 인식하고 행동하는지를 형성하는 행동 정의 레이어입니다. 다음을 포함합니다:

• System prompts 및 도구 설명.
• Context management, 단계별로 모델이 무엇을 기억할지 결정.
• Response parsing 로직.

일부 제품에서는 모델을 둘러싼 전체 시스템을 설명하기 위해 "harness"라는 용어를 사용하기도 하지만, 훈련 파이프라인을 추론할 때는 scaffold와 harness를 구분하는 것이 매우 중요합니다.

Harness

Harness는 agent를 실행하게 만드는 실행 레이어입니다. 모델을 호출하고, 도구 호출을 처리하며, agent가 언제 멈춰야 할지를 결정하는 역할을 합니다.

Harness engineering은 오류 처리, 가드레일(guardrails), 종료 조건에 집중하여 이 레이어를 설계하는 학문입니다. 이는 추론(inference)과 평가(evaluation) 모두에 적용되며, "eval harness"는 모델 가중치를 업데이트하는 대신 고정된 시나리오를 실행하여 메트릭을 기록합니다.

운영 개념

Context Engineering 및 Memory

Context engineering은 system prompts, 검색된 지식, 대화 기록을 포함하여 agent의 context window에 무엇이 들어갈지 설계하는 프로세스입니다. 이는 harness에 의해 관리되는 동적인 프로세스입니다.

• Short-term memory: 단일 실행 동안 context window에 남아 있는 정보(예: 도구 결과).
• Long-term memory: 외부적으로 저장되어 다양한 세션에 걸쳐 필요할 때 호출되는 정보.

Policy 및 Tool Use

• Policy: agent가 따르는 행동으로, 주어진 상황에서 특정 행동을 취할 확률을 정의합니다. policy는 model weights와 scaffolding 및 harness가 결합된 결과입니다.
• Tool Use: agent가 외부 시스템(API, 데이터베이스, code interpreters)과 상호작용하는 메커니즘입니다. model은 구조화된 형식으로 의도를 표현하고, harness는 이를 적절한 함수로 라우팅합니다.

Skills 및 Sub-agents

• Skills: 다단계 목표(예: "버그 조사")를 달성하기 위해 사용되는 재사용 가능한 구조화된 지식 패키지인 반면, tool은 단일 동작(예: "명령어 실행")입니다.
• Sub-agents: 특정 하위 작업을 처리하기 위해 기본 agent(orchestrator)에 의해 호출되는 독립적인 agent입니다. tool이나 skills와 달리 sub-agents는 추론하고, 자체 도구를 사용하며, 추가적인 sub-agents를 호출할 수 있습니다.

AI Agent 훈련 용어

모델을 개발하는 사람들을 위해 Hugging Face는 강화 학습(RL) 훈련 파이프라인의 네 가지 핵심 구성 요소를 식별했습니다:

• RL Environment: 동작(일반적으로 도구 호출)을 받아 관찰(예: touch 명령어 후 파일 목록을 반환하는 filesystem)을 반환하는 상태 유지(stateful) 객체.
• Trainer: agent 에피소드를 실행하고, 결과를 점수화하며, 내부 model의 가중치를 업데이트하는 시스템(예: TRL의 GRPOTrainer).
• Rollout: 시작부터 끝까지의 전체 agent 실행으로, trajectory 또는 trace라고도 합니다. 이는 RL 알고리즘을 위한 원시 데이터를 제공합니다.
• Reward: 가중치를 업데이트하는 데 사용되는 점수입니다. Reward는 verifiable(합격/불합격), learned(인간 선호도), sparse(단일 에피소드 종료 점수), 또는 dense(각 단계별 점수)일 수 있습니다. Rubrics는 reward를 가중치가 부여된 명시적 차원으로 나누는 데 사용됩니다.