Anionex/agent-vision-toolkit

解决的问题

agent-vision-toolkit 提供了一种为纯文本 LLM 代理（例如运行在 DeepSeek 上的代理）赋予视觉能力的方法。它允许这些代理执行图像问答、长截图 OCR、UI 还原以及 GUI 自动化，而无需底层模型具备原生多模态能力。

运作原理

该工具包在“工具层”而非模型层实现视觉能力。它结合了以下技术：

• 视觉工具 CLI：一组代理可通过 shell 调用的命令行工具（glance、ground、detect、trace、crop），用于分析图像、定位对象并提取图形。
• 意图感知描述：工具包不会产生通用的图像描述，而是从对话中提取代理当前的意图，并将其作为焦点提示传递给多模态 API，确保产生的描述与任务相关。
• 无缝集成：为特定代理（如 Codex、Claude Code、Pi 与 OpenCode）提供可选的本地代理或原生插件，使粘贴的图像与内置图像工具能透明地运作。
• 代理技能：一个 vision-skills 软件包，教导代理如何组合这些工具来解决复杂的视觉任务。

适用对象

希望为纯文本编码代理增加多模态能力的开发者与用户，例如从草图重建 UI 或使用缺乏原生视觉支持的模型进行自动化 GUI 操作。

特色亮点

• 任务导向视觉：根据模型的实际意图捕捉细节，而非提供广泛且无焦点的描述。
• 支持粘贴图像与内置工具：通过代理层支持直接粘贴图像以及代理自身的内部图像工具。
• 实战验证的工作流程：包含长截图 OCR、草图 UI 还原与 GUI 自动化的操作手册。
• 单句安装：设计为可由代理本身通过简单提示词进行安装。
• 本地 SVG 追踪：无需 LLM 参与，即可从图形中确定性地恢复几何轨迹以创建可编辑的 SVG。