antoinezambelli/forge

해결하는 문제

Forge는 자체 호스팅된 대규모 언어 모델(LLM)에서 도구 호출의 신뢰성을 향상시킵니다. 많은 로컬 모델은 도구 호출을 일관되게 올바르게 형식화하거나 복잡한 지침을 따르는 데 어려움을 겪으며, 이는 에이전트 워크플로우의 실패로 이어집니다. Forge는 보호 계층 역할을 하여 이러한 오류가 애플리케이션을 중단시키기 전에 포착하고 수정합니다.

작동 방식

Forge는 응답 검증, 자동 재시도 루프, 구조적 파싱을 포함한 일련의 안전 장치를 제공하며, 애플리케이션과 LLM 사이에 위치합니다. 기존 도구(Aider 또는 Claude Code 등)에 대해 모든 로컬 모델을 더 신뢰할 수 있게 만드는 드롭인 프록시 서버로 사용하거나, 컨텍스트 관리 및 단계 강제와 같은 고급 기능을 갖춘 사용자 지정 에이전트 루프를 구축하기 위한 Python 라이브러리(WorkflowRunner)로 사용할 수 있습니다.

대상 사용자

로컬 LLM을 사용하면서 더 높은 신뢰성이 필요한 에이전트 애플리케이션을 구축하는 개발자를 위해 설계되었습니다. 이미 에이전트 하네스를 사용 중이고 코드를 다시 작성하지 않고 안전 장치를 추가하고 싶거나, 사용자 지정 에이전트 루프를 구축 중이며 강력한 도구 호출 및 워크플로우 관리가 필요한 경우에 이상적입니다.

주요 특징

• 드롭인 프록시: 코드 변경 없이 기존의 OpenAI 호환 또는 Anthropic 호환 클라이언트와 함께 작동합니다.
• 구조적 파싱: 형식이 잘못된 도구 호출(예: 코드 블록 내의 JSON)을 올바른 형식으로 자동 수정합니다.
• 재시도 로직: 실패한 도구 호출을 모델에 대한 수정 피드백과 함께 자동으로 재시도합니다.
• 워크플로우 관리: 복잡한 에이전트 작업을 위해 필수 단계, 전제 조건 및 터미널 도구 정의를 지원합니다.
• 백엔드 독립성: Ollama, llama-server, vLLM, Llamafile 및 Anthropic API와 호환됩니다.