Anionex/dsh-vision-toolkit

해결하는 문제

DSH Vision Toolkit은 DeepSeek Harness(DSH) 생태계 내의 텍스트 전용 AI 에이전트가 시각 정보를 처리하고 이해할 수 있게 합니다. 텍스트 기반 모델과 시각 작업 간의 격차를 해소하기 위해 특수 도구 세트와 "스킬"(운영 플레이북 세트)을 제공하여 에이전트가 이미지를 인식, 분석, 조작하여 고가치 작업을 완료하는 방법을 안내합니다.

작동 방식

이 툴킷은 비전 가능 모델(이해용)과 결정적 로컬 이미지 처리 도구(작업용)를 결합합니다. 사용자가 이미지를 붙여넣거나 경로를 제공하면 시스템은 텍스트 전용 모델을 비전 지원 변형으로 자동 전환할 수 있습니다.

이 툴킷은 일반적인 이미지 설명을 생성하는 대신 "포커스 힌트"를 사용합니다. 사용자의 특정 목표를 비전 모델에 전달하여 현재 작업과 관련된 증거만 추출합니다. 그런 다음 에이전트는 번들로 제공되는 vision-skills 스킬을 사용하여 호출할 도구(예: OCR, 크롭, 픽셀 비교)와 결과를 검증하는 방법을 결정합니다.

대상 사용자

• DeepSeek Harness 사용자로서 텍스트 전용 모델로 멀티모달 경험(채팅에 이미지를 직접 붙여넣기)을 원하는 분.
• 개발자 및 디자이너로서 스크린샷이나 손그림 스케치를 기능적인 HTML/CSS 코드로 변환하거나, 긴 스크린샷에서 데이터를 추출하거나, 스크린샷을 통해 GUI를 조작하는 등 복잡한 시각 워크플로우를 자동화해야 하는 분.

하이라이트

• 작업 인식 비전: 일반적인 캡션이 아닌 현재 목표에 따라 특정 증거를 추출합니다.
• 포괄적인 도구 상자: vision_glance(일반 이해), vision_ground(픽셀 좌표), vision_trace(SVG 변환), vision_pixel_diff(시각 회귀 테스트)와 같은 작업을 위한 10개의 도구가 포함되어 있습니다.
• UI 복원: 스크린샷, 스케치, 다이어그램에서 UI를 구조화된 코드로 재구성하기 위한 전문 플레이북.
• 원활한 DSH 통합: DSH Web 및 Headless 프로필을 기본 지원하며, 이미지 붙여넣기 시 자동 모델 전환 및 기본 썸네일 미리보기를 포함합니다.