Lum1104/dsh-browser

何を解決するか

このプロジェクトは、DeepSeek Harness（dsh）エージェントフレームワークと実際のGoogle Chromeブラウザの間のブリッジを提供します。AIエージェントが実際のユーザーのようにウェブと対話できるようにし、ヘッドレスブラウザ環境ではなく、ユーザーの既存のブラウザセッション、ログイン状態、クッキーを使用します。

動作方法

システムはChrome MV3拡張機能とdsh用のブリッジプラグインから構成されています。ビジョンベースの処理ではなく、ウェブページをインタラクティブな要素の番号付きインベントリに構造化されたテキストに変換します。AIモデルはこれらの要素を番号で参照して、クリック、入力、スクロールなどの操作を実行します。

プライバシーとセキュリティを確保するために、パスワードやクレジットカード番号などの機密データはページから出る前にマスクされます。また、ナビゲーションや入力などの操作は、ユーザーの承認が必要で、不正な制御を防ぎます。

対象ユーザー

アクティブで認証済みのブラウザセッション内で動作するAIエージェントを使って、ブラウザベースのタスクを自動化したいDeepSeek Harnessの開発者やユーザー。

特徴

• セッションの保持: ユーザーの実際のブラウザタブで動作し、すべての有効なログイン状態とクッキーを保持。
• テキスト優先インターフェース: スクリーンショットではなく、構造化されたテキストと番号付きコントロールを使用し、モデルのオーバーヘッドを削減し、高速化。
• プライバシー中心: 機密フォームフィールドをマスクし、ベアラートークン認証を用いた守られたブリッジを採用。
• 包括的なツールセット: ページスナップショットの読み取り、要素のクリック、フォームの入力、キーの押下、履歴のナビゲーションなど、多数のツールを提供。
• 高パフォーマンス: Playwrightベースの基準と比較して、より高速で、ツール呼び出し回数も少ないことがベンチマークで確認済み。