omdsh-dev/dsh-browser

解決する課題

本プロジェクトは、DeepSeek Harness (dsh) エージェントフレームワークとユーザーのアクティブなウェブブラウザとの間にブリッジを提供します。これにより、AI エージェントは人間と同じようにウェブと対話（ページコンテンツの読み取り、ボタンのクリック、フォームへの入力、タブの管理など）できるようになります。その際、Playwright のようなヘッドレスブラウザ自動化ツールを使用することなく、ユーザーの既存のログインセッション、Cookie、認証状態を維持できます。

仕組み

システムは、dsh ランタイム用のブリッジプラグインとブラウザ拡張機能 (Chrome/Firefox) で構成されています。エージェントはテキストのみのインターフェースを介してブラウザと対話します。拡張機能はウェブページを、インタラクティブな要素に番号を振った構造化テキストスナップショットに変換します。モデルは、複雑なセレクターやスクリーンショットを使用する代わりに、割り当てられた番号によってこれらの要素を識別し、操作します。

対象ユーザー

AI エージェントにリアルタイムで実際のブラウザを操作させる能力を与えたい DeepSeek Harness の開発者およびユーザー。特に、アクティブなユーザーセッションを維持し、ヘッドレス環境のシステムオーバーヘッドを回避したい方に適しています。

ハイライト

• セッションの保持: ユーザーの実際のブラウザタブ内で動作し、すべてのログイン情報と Cookie を保持します。
• テキストファーストインターフェース: ページ要素の番号付きインベントリを使用してナビゲーションと対話を行うため、視覚処理の必要性が軽減されます。
• プライバシー重視: パスワードや支払いカード情報を自動的にマスクし、機密データがページ外に漏れないようにします。
• 統合 UI: 会話用のサイドパネルと、ページ上のテキストをハイライトしてエージェントに直接送信できる引用機能を備えています。
• 高性能: ベンチマークによると、従来の Playwright ベースの自動化と比較して、レイテンシが低く、ツール呼び出し回数も少なくなっています。