Anionex/dsh-vision-toolkit
[dsh]为纯文本模型设计更强大的视觉工具箱:一行安装使用、粘贴图片直接识别、多张图片问答、截图到前端UI 还原等|DeepSeek Harness-native integration for agent-vision-toolkit: image Q&A, long-screenshot OCR, UI restoration, grounding, pixel diff, Artifacts, and Web UI.
解决的问题
DSH Vision Toolkit 让 DeepSeek Harness (DSH) 生态系统中的纯文本 AI 代理能够处理和理解视觉信息。它通过提供一组专门工具和一个“技能”(一组操作手册)来弥合文本模型与视觉任务之间的差距,引导代理如何感知、分析和操作图像以完成高价值任务。
运作方式
此工具包结合了具视觉能力的模型(用于理解)与确定性的本地图像处理工具(用于行动)。当用户粘贴图像或提供路径时,系统可以自动将纯文本模型切换为具视觉能力的变体。
此工具包不是产生通用的图像描述,而是使用“焦点提示”——将用户的具体目标传递给视觉模型,使其仅提取与当前任务相关的证据。然后代理使用随附的 vision-skills 技能来决定调用哪个工具(例如 OCR、裁剪或像素比较)以及如何验证结果。
适用对象
- DeepSeek Harness 的用户,希望以纯文本模型获得多模态体验(直接将图像粘贴到聊天中)。
- 开发人员与设计师,需要自动化复杂的视觉工作流程,例如将截图或手绘草图转换为可运行的 HTML/CSS 代码、从长截图中提取数据,或通过截图操作 GUI。
亮点
- 任务感知视觉: 根据当前目标提取特定证据,而非提供通用说明。
- 全面工具箱: 包含 10 个工具,用于诸如
vision_glance(一般理解)、vision_ground(像素坐标)、vision_trace(SVG 转换)和vision_pixel_diff(视觉回归测试)等任务。 - UI 还原: 专门的手册,用于将截图、草图或图表重建为结构化代码。
- 无缝 DSH 集成: 原生支持 DSH Web 和 Headless 配置文件,包括粘贴图像时自动切换模型以及原生缩略图预览。
相关
- 项目
- 项目
- 项目
- 项目
- 项目