신뢰성 격차 해소: Forge가 에이전트 워크플로우를 위해 로컬 LLM을 향상시키는 방법

로컬 대규모 언어 모델(LLM)을 사용하여 에이전트 워크플로우를 구축하는 개발자들에게 가장 큰 장애물은 모델의 원시 지능이 아니라 신뢰성입니다. GPT-4나 Claude 3.5와 같은 프런티어 모델은 복잡한 도구 호출(tool-calling) 시퀀스를 쉽게 처리할 수 있지만, 일반적으로 8B 파라미터 범위의 소규모 자체 호스팅 모델은 잘못된 형식의 JSON, 일관성 없는 도구 선택 또는 다단계 목표 추적 실패로 인해 어려움을 겪는 경우가 많습니다.

Forge는 이러한 "신뢰성 격차"를 해결하기 위해 특별히 설계된 Python 프레임워크입니다. 정교한 가드레일과 컨텍스트 관리 계층을 구현함으로써, Forge는 소규모 자체 호스팅 모델이 이전에는 훨씬 더 큰 시스템에서만 가능했던 수준으로 성능을 발휘할 수 있도록 합니다. 일부 구성에서는 8B 모델의 에이전트 작업 성능을 기본 53%에서 최대 99%까지 끌어올리는 것으로 나타났습니다.

신뢰성 아키텍처

Forge는 파인튜닝을 통해 모델을 "더 똑똑하게" 만들려고 시도하지 않습니다. 대신, 상호작용 루프를 관리하는 신뢰성 스택을 모델에 입힙니다. 이 스택은 세 가지 주요 기둥으로 구성됩니다:

1. 가드레일 및 오류 복구

소규모 모델은 정답을 모르는 것이 아니라, 도구 호출에 필요한 엄격한 형식을 따르지 못해 실패하는 경우가 많습니다. Forge는 이러한 실패를 복구하기 위한 여러 메커니즘을 구현합니다:

• Rescue Parsing: 구문 오류로 인해 시스템이 충돌하지 않도록 잘못된 형식의 도구 호출을 자동으로 수정합니다.
• Retry Nudges: 모델이 유효성 검사를 통과하지 못할 때, Forge는 단순히 오류를 반환하는 대신 모델이 특정 실수를 바로잡을 수 있도록 안내하는 타겟팅된 프롬프트를 제공하는 "넛지(nudge)"를 제공합니다.
• Step Enforcement: 모델이 최종 상태로 진행하기 전에 워크플로우의 필수 단계를 완료하도록 보장합니다.

2. 지능형 컨텍스트 관리

로컬 모델은 종종 VRAM 및 컨텍스트 윈도우 제한에 의해 제약받습니다. Forge는 이를 다음과 같이 관리합니다:

• VRAM-Aware Budgets: 사용 가능한 하드웨어 리소스에 따라 토큰 사용량을 관리합니다.
• Tiered Compaction: 가장 중요한 컨텍스트(예: 마지막 몇 차례의 대화)는 유지하면서 대화 기록의 오래된 부분을 압축하거나 제거하는 전략으로, 컨텍스트 윈도우가 너무 커져 모델이 "혼란"을 겪는 것을 방지합니다.

3. 합성 "Respond" 도구

Forge의 가장 혁신적인 측면 중 하나는 텍스트 응답에 대한 접근 방식입니다. 소규모 모델은 도구 호출을 해야 할지, 아니면 단순히 사용자에게 응답해야 할지 결정하는 데 어려움을 겪는 경우가 많습니다.

이를 해결하기 위해 Forge는 합성 respond 도구를 주입합니다. 모델은 항상 도구를 사용하도록 안내됩니다. 만약 텍스트 응답을 주고 싶다면, respond(message="...")를 호출합니다. Forge는 최종 출력이 사용자에게 도달하기 전에 이 도구 호출을 제거합니다. 이는 모델이 "도구 호출 모드"를 유지하도록 강제하며, 이는 8B급 모델에게 훨씬 더 안정적입니다.

유연한 구현 경로

Forge는 필요한 제어 수준에 따라 세 가지 다른 방식으로 기존 스택에 통합될 수 있도록 설계되었습니다:

• WorkflowRunner: Forge를 직접 사용하여 구축하는 이들을 위한 전체 수명 주기 관리자입니다. 시스템 프롬프트, 도구 실행 및 컨텍스트 압축을 자동으로 처리합니다.
• Guardrails Middleware: 이미 오케스트레이션 루프를 가지고 있지만, Forge의 유효성 검사 및 복구 로직을 컴포저블 레이어로 사용하고자 하는 개발자용입니다.
• Proxy Server: 즉시 사용 가능한 OpenAI 호환 프록시입니다. 클라이언트(예: aider 또는 Continue)와 로컬 서버(예: llama-server) 사이에 Forge를 배치함으로써, 클라이언트는 클라이언트 측 코드의 변경 없이도 모델이 훨씬 더 유능능력하게 작동하는 것으로 인식하게 됩니다.

성능 및 벤치마킹

이러한 주장을 검증하기 위해, Forge는 26개의 시나리오로 구성된 평가 하네스(eval harness)를 포함합니다. 이는 기본 티어(OG-18)와 고급 추론 티어(advanced reasoning tier)로 나뉩니다.

프로젝트 데이터에 따르면, 최상위 자체 호스팅 구성인 Ministral-3 8B Instruct Q8 running on llama-server는 전체 스위트에서 86.5%의 점수를 기록했으며, 가장 어려운 추론 작업에서도 76%의 성공률을 유지했습니다. This demonstrates that with the right guardrails, an 8B model can handle complex, multi-step agentic workflows with high reliability.

결론

Forge는 대화를 "어떤 모델이 충분히 큰가?"에서 "어떻게 모델을 감싸서 성공을 보장할 수 있는가?"로 전환합니다. 신뢰성을 순계한 소프트웨어 엔지니어링 문제로 취급함으로써, Forge는 적절한 하드웨어에서 매우 유능한 에이전트를 배포할 수 있게 하며, 값비싼 프런티어 API에 대한 의존도를 낮추면서도 프로덕션급 도구 호출에 필요한 정밀도를 유지합니다.