dsh‑vision‑router

개요 – DeepSeek Harness (DSH) 채팅 UI용 플러그인으로, 텍스트 전용 LLM(예: DeepSeek)이 온디맨드로 이미지를 "볼" 수 있게 합니다. 이미지 턴을 구성 가능한 비전 모델(로컬 또는 클라우드)로 라우팅하고, LLM이 다른 도구처럼 호출할 수 있는 비전 관련 도구 세트(vision_describe, vision_ground, vision_crop, …)를 노출합니다.

중요성 – 기존 DSH 비전 플러그인의 대부분은 이미지를 LLM에 보내기 전에 짧은 텍스트 설명으로 변환하여 픽셀 수준의 세부 정보를 잃습니다. dsh‑vision‑router는 원본 래스터 데이터를 비전 모델 쪽에 유지하고, LLM이 세밀한 작업(크롭, OCR, 픽셀 차이 등)을 요청할 수 있게 하며, 사용자 제공 모델이 없을 때 무료이고 키가 없는 OV‑Hcloud 엔드포인트로 폴백합니다. 이를 통해 개발자는 비전 API 비용을 지불하거나 Python 코드를 작성하지 않고도 다단계 시각적 워크플로를 구축할 수 있습니다.

작동 방식

• 플러그인은 단일 npx @deepseek‑ai/dsh plugin … add dsh‑vision‑router 명령으로 설치되며, DSH 번들을 자동으로 패치하여 새 행, 승인 래퍼 및 첨부 파일 제한이 추가됩니다.
• 사용자가 컴포저에서 👁 Vision 버튼을 토글하면 DSH는 현재 세션을 이미지 턴을 가로채는 특수 "비전 래퍼" 경로로 전환합니다.
• 래퍼는 턴마다 이미지를 로컬에서 처리할지(크롭, Tesseract를 통한 OCR, 팔레트, SVG 트레이스 등) 아니면 픽셀 데이터를 비전 공급자로 전달할지 결정합니다.
• 공급자는 다음 중 하나입니다:
  • 사용자 구성 클라우드 엔드포인트(OpenAI 호환, Ollama, LM Studio 등),
  • 익명으로 OVHcloud AI Endpoints에 요청을 보내는 내장 무료 폴백, 또는
  • 머신을 절대 떠나지 않는 로컬 도구 체인.
• 결과는 JSON 구조의 도구 출력으로 LLM에 반환되고, 이미지 콘텐츠로 캐시되며, 후속 도구 호출에서 사용할 수 있습니다(예: ground → crop → describe → pixel‑diff).
• 모든 무거운 작업은 Node 네이티브 라이브러리(sharp, potrace, tesseract)와 시스템 Chrome을 사용하여 수행되며, Python 런타임이 필요하지 않습니다.

주요 기능

• 원커맨드 설치 – 수동 파일 편집 없음; 플러그인이 DSH를 자동으로 패치합니다.
• 무료 기본 비전 – 익명 OVHcloud 엔드포인트(IP당 모델별 분당 2요청)가 API 키 없이 작동합니다.
• Python 불필요 – 전체 파이프라인이 Node.js(≥22)에서 실행됩니다.
• 다단계 시각적 도구 세트 – 크롭, OCR, 팔레트 추출, SVG 트레이스, HTML 스크린샷, 픽셀 차이, 그라운딩 등.
• 로컬 전용 모드 – 원격 호출을 차단하는 런타임 스위치로, 기밀 데이터에 유용합니다.
• 자동 폴백 체인 – 기본 공급자가 실패하면 다음 구성된 백엔드로 폴백합니다.
• 캐싱 – 비전 결과는 이미지별로 캐시되어 중복 호출을 방지합니다.
• 투명한 UI – 이미지는 이미지로 계속 표시되고, 비전 라우팅은 백그라운드에서 발생합니다.

일반적인 워크플로

1. 단일 npx 명령으로 플러그인을 설치합니다.
2. DSH(웹 또는 데스크톱)를 열고 👁 Vision 토글을 활성화합니다.
3. 이미지를 붙여넣거나 업로드합니다.
4. LLM은 이제 비전 도구(예: vision_ground로 객체 위치 찾기, vision_crop로 영역 추출, vision_ocr로 텍스트 등)를 호출할 수 있습니다.
5. 에이전트는 시각적 작업이 완료될 때까지 도구 호출로 반복한 후 구조화된 답변으로 응답합니다.

사용 시기 – DeepSeek 기반 채팅 내에서 사용자 정의 Python 래퍼를 작성하거나 비전 API 비용을 지불하지 않고 픽셀 정확한 시각적 추론(UI 자동화, 이미지 편집, OCR, 객체 그라운딩)이 필요할 때. 또한 DSH 생태계 내에 머무는 다중 턴 시각적 워크플로 프로토타이핑에도 유용합니다.

---

링크 및 리소스

• GitHub 저장소 – 소스, 이슈, 릴리스(최신 v2.3.0).
• 설치 문서 – 원라이너 npx … add dsh-vision-router.
• 데이터 흐름 및 개인정보 보호 참고 – 원격 데이터 전송 및 로컬 전용 스위치 설명.
• 데모 GIF – 이미지 턴, 비전 그라운딩, 크롭 및 최종 답변을 보여줍니다.
• 커뮤니티: QQ 그룹 1105463028, 다양한 DSH 플러그인 마켓플레이스.

---

이 요약은 저장소의 README에만 기반합니다.