dsh‑vision‑router

概述 – 一个用于 DeepSeek Harness (DSH) 聊天界面的插件，允许纯文本 LLM（例如 DeepSeek）按需“查看”图像。它将图像轮次路由到可配置的视觉模型（本地或云端），并公开一组视觉相关工具（vision_describe、vision_ground、vision_crop、…），LLM 可以像调用其他工具一样调用这些工具。

重要性 – 大多数现有的 DSH 视觉插件在将图像发送给 LLM 之前，仅将图像转换为简短的文本描述，丢失了像素级细节。dsh‑vision‑router 将原始光栅数据保留在视觉模型端，允许 LLM 请求细粒度操作（裁剪、OCR、像素差异等），并在未配置用户提供模型时回退到免费、无需密钥的 OV‑Hcloud 端点。这使开发人员无需支付视觉 API 费用或编写 Python 代码，即可构建多步骤视觉工作流。

工作原理

• 插件通过单个 npx @deepseek‑ai/dsh plugin … add dsh‑vision‑router 命令安装；它会自动修补 DSH 包，添加新行、准入包装器和附件限制。
• 当用户在编辑器上方切换**👁 Vision**按钮时，DSH 会将当前会话切换到拦截图像轮次的特殊“视觉包装器”路由。
• 包装器在每轮决定是在本地处理图像（裁剪、通过 Tesseract 进行 OCR、调色板、SVG 跟踪等），还是将像素数据转发给视觉提供程序。
• 提供程序可以是：
  • 用户配置的云端点（兼容 OpenAI、Ollama、LM Studio 等），
  • 内置的免费回退，匿名将请求发送到 OVHcloud AI 端点，或者
  • 永远不会离开机器的本地工具链。
• 结果以 JSON 结构的工具输出返回到 LLM，按图像内容缓存，并可在后续工具调用中使用（例如 ground → crop → describe → pixel‑diff）。
• 所有繁重工作均由 Node 原生库（sharp、potrace、tesseract）和系统 Chrome 完成；无需 Python 运行时。

主要功能

• 一键安装 – 无需手动编辑文件；插件自动修补 DSH。
• 免费开箱即用的视觉 – 匿名 OVHcloud 端点（每个 IP 每模型每分钟 2 个请求）无需 API 密钥即可工作。
• 无需 Python – 整个流程在 Node.js（≥22）上运行。
• 多步骤视觉工具集 – 裁剪、OCR、调色板提取、SVG 跟踪、HTML 截图、像素差异、接地等。
• 仅本地模式 – 阻止任何远程调用的运行时开关，适用于机密数据。
• 自动回退链 – 如果主提供程序失败，插件会回退到下一个配置的后端。
• 缓存 – 视觉结果按图像缓存，避免重复调用。
• 透明 UI – 图像保持显示为图像；视觉路由在后台发生。

典型工作流

1. 通过单个 npx 命令安装插件。
2. 打开 DSH（Web 或桌面版）并启用 👁 Vision 切换。
3. 粘贴或上传图像。
4. LLM 现在可以调用视觉工具（例如，vision_ground 定位对象，vision_crop 提取区域，vision_ocr 提取文本等）。
5. 代理迭代调用工具，直到视觉任务完成，然后回复结构化答案。

使用时机 – 当您需要在基于 DeepSeek 的聊天中进行像素级视觉推理（UI 自动化、图像编辑、OCR、对象接地），而不编写自定义 Python 包装器或支付视觉 API 费用时。它也适用于在 DSH 生态系统中构建多轮视觉工作流原型。

---

链接和资源

• GitHub 仓库 – 源代码、问题、发布（最新 v2.3.0）。
• 安装文档 – 单行命令 npx … add dsh-vision-router。
• 数据流和隐私说明 – 解释远程数据传输和仅本地开关。
• 演示 GIF – 演示图像轮次、视觉接地、裁剪和最终答案。
• 社区：QQ 群 1105463028，各种 DSH 插件市场。

---

本摘要仅基于仓库的 README。