dsh‑vision‑router

概要 – DeepSeek Harness (DSH) チャットUI用のプラグインで、テキストのみのLLM（例：DeepSeek）がオンデマンドで画像を「見る」ことを可能にします。画像ターンを設定可能なビジョンモデル（ローカルまたはクラウド）にルーティングし、LLMが他のツールと同様に呼び出せる一連のビジョン関連ツール（vision_describe、vision_ground、vision_crop、…）を公開します。

重要性 – 既存のDSHビジョンプラグインのほとんどは、画像をLLMに送信する前に短いテキスト説明に変換するだけで、ピクセルレベルの詳細が失われます。dsh‑vision‑routerは元のラスターデータをビジョンモデル側に保持し、LLMが細かい操作（クロップ、OCR、ピクセル差分など）を要求できるようにし、ユーザーがモデルを設定していない場合は無料でキー不要のOV‑Hcloudエンドポイントにフォールバックします。これにより、開発者はビジョンAPIの費用を支払ったりPythonコードを書いたりすることなく、多段階のビジュアルワークフローを構築できます。

仕組み

• プラグインは単一のnpx @deepseek‑ai/dsh plugin … add dsh‑vision‑routerコマンドでインストールされ、DSHバンドルを自動的にパッチして、新しい行、アドミッションラッパー、添付ファイル制限が追加されます。
• ユーザーがコンポーザーの**👁 Vision**ボタンを切り替えると、DSHは現在のセッションを画像ターンをインターセプトする特別な「ビジョンラッパー」ルートに切り替えます。
• ラッパーはターンごとに、画像をローカルで処理するか（クロップ、TesseractによるOCR、パレット、SVGトレースなど）、またはピクセルデータをビジョンプロバイダーに転送するかを決定します。
• プロバイダーは次のいずれかです：
  • ユーザー設定のクラウドエンドポイント（OpenAI互換、Ollama、LM Studioなど）、
  • 匿名でOVHcloud AI Endpointsにリクエストを送信する組み込みの無料フォールバック、または
  • マシンから決して離れないローカルツールチェーン。
• 結果はJSON構造のツール出力としてLLMに返され、画像コンテンツでキャッシュされ、後続のツールコールで使用できます（例：ground→crop→describe→pixel‑diff）。
• すべての重い処理はNodeネイティブライブラリ（sharp、potrace、tesseract）とシステムのChromeで行われ、Pythonランタイムは不要です。

主な機能

• ワンコマンドインストール – 手動でのファイル編集は不要。プラグインがDSHを自動的にパッチします。
• 無料のすぐ使えるビジョン – 匿名のOVHcloudエンドポイント（IPごとにモデル毎分2リクエスト）がAPIキーなしで動作します。
• Python不要 – パイプライン全体がNode.js（≥22）で実行されます。
• 多段階ビジュアルツールセット – クロップ、OCR、パレット抽出、SVGトレース、HTMLスクリーンショット、ピクセル差分、グラウンディングなど。
• ローカルのみモード – リモートコールをブロックするランタイムスイッチ。機密データに便利です。
• 自動フォールバックチェーン – プライマリプロバイダーが失敗した場合、プラグインは次の設定済みバックエンドにフォールバックします。
• キャッシュ – ビジョン結果は画像ごとにキャッシュされ、重複コールを回避します。
• 透明なUI – 画像は画像として表示され続け、ビジョンルーティングは裏で行われます。

典型的なワークフロー

1. 単一のnpxコマンドでプラグインをインストールします。
2. DSH（Webまたはデスクトップ）を開き、👁 Visionトグ Indexを有効にします。
3. 画像を貼り付けるかアップロードします。
4. LLMはビジョンツール（例：vision_groundでオブジェクトの位置特定、vision_cropで領域抽出、vision_ocrでテキストなど）を呼び出せるようになります。
5. エージェントはツールコールで反復し、ビジュアルタスクが完了するまで続け、構造化された回答で応答します。

使用するタイミング – DeepSeekベースのチャット内で、カスタムPythonラッパーを書いたりビジョンAPIの費用を払ったりせずに、ピクセル精度のビジュアル推論（UI自動化、画像編集、OCR、オブジェクトグラウンディング）が必要な場合。また、DSHエコシステム内に留まる多ターンビジュアルワークフローのプロトタイピングにも便利です。

---

リンクとリソース

• GitHubリポジトリ – ソース、問題、リリース（最新v2.3.0）。
• インストールドキュメント – ワンライナーnpx … add dsh-vision-router。
• データフローとプライバシーノート – リモートデータ送信とローカルのみスイッチを説明。
• デモGIF – 画像ターン、ビジョングラウンディング、クロップ、最終回答を示します。
• コミュニティ：QQグループ1105463028、各種DSHプラグインマーケットプレイス。

---

この概要はリポジトリのREADMEのみに基づいています。