forge: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

Forge는 자체 호스팅되는 대규모 언어 모델(LLM)이 도구 호출(tool-calling)을 수행할 때 신뢰성 계층을 제공합니다. 이는 작은 로컬 모델이 도구 호출 형식을 따르지 못하거나, 알 수 없는 도구를 호출하거나, 텍스트 생성과 도구 호출 사이에서 갈등하여 에이전트 워크플로우에서 충돌이나 잘못된 동작을 초래하는 일반적인 문제를 해결합니다.

작동 방식

Forge는 LLM과 애플리케이션 사이에 위치하는 가드레일 시스템 역할을 합니다. 신뢰성을 보장하기 위해 다음과 같은 여러 기술을 사용합니다:

• Response Validation: 사용 가능한 도구 목록과 대조하여 도구 호출을 확인하고 매개변수를 검증합니다.
• Rescue Parsing: 잘못된 형식의 응답(예: 코드 펜스 내의 JSON 또는 Mistral 또는 Qwen과 같은 특정 모델 형식)에서 구조화된 도구 호출을 추출하여 표준 형식으로 변환합니다.
• Retry Loops: 도구 호출이 유효하지 않은 경우, Forge는 모델에 교정적인 "nudge"를 제공하여 추론을 자동으로 재시도합니다.
• Synthetic Respond Tool: 모델이 텍스트 응답을 제공하려 할 때도 도구 호출을 사용하도록 강제하는 숨겨진 respond 도구를 주입하여, 모델이 텍스트와 도구 호출을 잘못 섞는 것을 방지합니다.
• Workflow Constraints: 개발자가 필수 단계, 전제 조건 및 종료 도구를 정의하여 작업 수행 과정에서 모델의 경로를 제한할 수 있도록 합니다.

대상 사용자

로컬 LLM(Ollama, vLLM, llama.cpp 등을 통해)을 사용하거나 Anthropic을 사용하는 하이브리드 설정을 구축하는 에이전트 애플리케이션 개발자를 위해 설계되었습니다. 특히 기존 오케스트레이션 로직을 재작성하지 않고 8B급 모델의 도구 호출 정확도를 높이고 싶은 사용자에게 유용합니다.

주요 특징

• Proxy Mode: 투명하게 가드레일을 적용하여 모든 OpenAI 호환 클라이언트(aider 또는 Continue와 같은)가 더 유능한 모델과 대화하고 있다고 믿게 만드는 드롭인 프록시 서버입니다.
• High Performance Lift: 자체 평가 스위트에서 8B 로컬 모델의 신뢰성을 한 자릿수에서 84%까지 높인다고 주장합니다.
• Backend Agnostic: Ollama, llama-server, Llamafile, vLLM, Anthropic을 포함한 광범위한 백엔드를 지원합니다.
• Flexible Integration: 전체 WorkflowRunner로 사용하거나, 투명한 프록시, 또는 기존 루프를 위한 독립형 미들웨어로 사용할 수 있습니다.