Anionex/dsh-vision-toolkit

[dsh]为纯文本模型设计更强大的视觉工具箱：一行安装使用、粘贴图片直接识别、多张图片问答、截图到前端UI 还原等｜DeepSeek Harness-native integration for agent-vision-toolkit: image Q&A, long-screenshot OCR, UI restoration, grounding, pixel diff, Artifacts, and Web UI.

解決する課題

DSH Vision Toolkit は、DeepSeek Harness (DSH) エコシステム内のテキストのみの AI エージェントが視覚情報を処理・理解できるようにします。テキストベースのモデルと視覚タスクのギャップを埋めるため、専門ツールのセットと「スキル」（操作手順書のセット）を提供し、エージェントが画像を認識・分析・操作して高価値タスクを完了する方法を導きます。

仕組み

このツールキットは、視覚対応モデル（理解用）と決定的なローカル画像処理ツール（アクション用）を組み合わせます。ユーザーが画像を貼り付けるかパスを提供すると、システムはテキストのみのモデルを視覚対応バリアントに自動的に切り替えることができます。

このツールキットは一般的な画像説明を生成する代わりに、「フォーカスヒント」を使用します。ユーザーの具体的な目標をビジョンモデルに渡し、現在のタスクに関連する証拠のみを抽出します。エージェントは同梱の vision-skills スキルを使用して、呼び出すツール（例：OCR、クロップ、ピクセル比較）と結果の検証方法を決定します。

対象ユーザー

DeepSeek Harness のユーザーで、テキストのみのモデルでマルチモーダル体験（チャットに直接画像を貼り付け）を希望する方。
開発者とデザイナーで、スクリーンショットや手書きスケッチを機能的な HTML/CSS コードに変換する、長いスクリーンショットからデータを抽出する、スクリーンショットを介して GUI を操作するなど、複雑な視覚ワークフローを自動化する必要がある方。

ハイライト

タスク認識ビジョン： 一般的なキャプションではなく、現在の目標に基づいて特定の証拠を抽出します。
包括的なツールボックス： vision_glance（一般的な理解）、vision_ground（ピクセル座標）、vision_trace（SVG 変換）、vision_pixel_diff（ビジュアルリグレッションテスト）などのタスク用に 10 個のツールが含まれています。
UI 復元： スクリーンショット、スケッチ、図から UI を構造化コードに再構築するための専門的な手順書。
シームレスな DSH 統合： DSH Web および Headless プロファイルをネイティブサポートし、画像貼り付け時の自動モデル切り替えとネイティブサムネイルプレビューを含みます。