antoinezambelli/forge

解決する課題

Forgeは、セルフホストされた大規模言語モデル（LLM）におけるツール呼び出しの信頼性を向上させます。多くのローカルモデルは、ツール呼び出しを正しくフォーマットしたり、複雑な指示に従ったりすることに苦労しており、エージェントワークフローの失敗につながることがあります。Forgeは保護レイヤーとして機能し、エラーがアプリケーションを壊す前にそれらをキャッチして修正します。

仕組み

Forgeは、レスポンス検証、自動リトライループ、レスキューパースなどの一連のガードレールを提供し、アプリケーションとLLMの間に配置されます。既存のツール（AiderやClaude Codeなど）に対してあらゆるローカルモデルをより信頼性の高いものに見せるためのドロップインプロキシサーバーとして、あるいはコンテキスト管理やステップ強制などの高度な機能を備えたカスタムエージェントループを構築するためのPythonライブラリ（WorkflowRunner）として使用できます。

対象ユーザー

ローカルLLMを使用したいが、より高い信頼性を必要とするエージェントアプリケーションを構築する開発者向けに設計されています。すでにエージェントハーネスを使用しており、コードを書き直さずにガードレールを追加したい場合や、カスタムエージェントループを構築していて堅牢なツール呼び出しとワークフロー管理が必要な場合に最適です。

ハイライト

• ドロップインプロキシ： コード変更なしで、既存のOpenAI互換またはAnthropic互換クライアントと連携します。
• レスキューパース： 形式が正しくないツール呼び出し（例：コードフェンス内のJSON）を自動的に正しい形式に修正します。
• リトライロジック： 失敗したツール呼び出しを、モデルへの修正フィードバックを伴って自動的にリトライします。
• ワークフロー管理： 複雑なエージェントタスクのために、必要なステップ、前提条件、ターミナルツールの定義をサポートします。
• バックエンド非依存： Ollama、llama-server、vLLM、Llamafile、およびAnthropic APIと互換性があります。