Anionex/agent-vision-toolkit

解決する課題

agent-vision-toolkit は、テキストのみのLLMエージェント（DeepSeekなどで動作するものなど）に視覚機能を提供する方法を提供します。これにより、基盤となるモデルがネイティブでマルチモーダルでなくても、画像Q&A、長いスクリーンショットのOCR、UI復元、GUI自動化を実行できるようになります。

仕組み

このツールキットは、モデルではなく「ハーネス（harness）」側に視覚機能を実装します。以下の組み合わせを使用します：

• 視覚ツールCLI：エージェントがシェル経由で呼び出し、画像を分析、オブジェクトを特定、グラフィックを抽出できるコマンドラインツールセット（glance、ground、detect、trace、crop）。
• 意図を認識する記述：一般的な画像記述ではなく、会話からエージェントの現在の意図を抽出し、フォーカスヒントとしてマルチモーダルAPIに渡すことで、タスクに関連した記述を生成します。
• シームレスな統合：特定のエージェント（Codex、Claude Code、Pi、OpenCodeなど）向けのオプションのローカルプロキシやネイティブプラグインにより、貼り付けた画像や組み込みの画像ツールが透過的に機能します。
• エージェントスキル：複雑な視覚タスクを解決するために、これらのツールをどのように順序立てるかをエージェントに教える vision-skills パッケージ。

対象ユーザー

スケッチからのUI再構築や、ネイティブな視覚サポートのないモデルを使用した自律的なGUI操作など、マルチモーダル機能をテキストのみのコーディングエージェントに追加したい開発者やユーザー。

ハイライト

• タスク重視の視覚機能：広範で焦点の定まらない記述ではなく、モデルの実際の意図に基づいて詳細をキャプチャします。
• 貼り付け画像と組み込みツールの両方に対応：プロキシ層を通じて、直接の画像貼り付けとエージェント自身の内部画像ツールの両方をサポートします。
• 実戦で検証済みのワークフロー：長いスクリーンショットのOCR、スケッチからのUI復元、GUI自動化のためのプレイブックが含まれています。
• 1行インストール：エージェント自身が単純なプロンプトを通じてインストールできるように設計されています。
• ローカルSVGトレース：LLMの関与なしに、グラフィックから幾何学的な軌跡を決定論的に復元し、編集可能なSVGを作成します。