Tencent/BrowserSkill

解決する課題

BrowserSkillを使用すると、AIエージェントはユーザーのログイン済みアカウントとセッションを使用して、ユーザーのウェブブラウザと対話できます。エージェントが複雑な認証を処理したり、別のブラウザプロファイルを管理したりする必要がなくなり、ユーザーがブラウザでアクティブなまま、ドキュメントの読み取り、フォームへの入力、社内サイトのナビゲーションなどのタスクを実行できます。

仕組み

システムは3つの主要コンポーネントで構成されています。接続を管理するCLI/デーモン、自動化インターフェースを提供するブラウザ拡張機能（ChromeまたはEdge用）、そしてAIエージェントにCLIツールの使用方法を教える「スキル」（一連の指示）です。エージェントはCLIを介してデーモンにコマンドを送信し、デーモンは拡張機能と通信してブラウザを制御します。タスクは専用の「エージェントウィンドウ」で実行され、ユーザーのメインの作業から分離して表示されますが、必要に応じてエージェントが既存のタブを明示的に「借用」することもできます。

対象ユーザー

• AIエージェントユーザー： シェル対応エージェント（Cursor、Claude Code、DeepSeek Harnessなど）を使用している人で、自分のアカウントを使用して実際のウェブタスクをエージェントに実行させたい人。
• ウェブ開発者： AIエージェントにウェブサイトのデバッグを支援してもらい、ネットワークリクエスト、コンソールログ、パフォーマンスメトリクスをキャプチャしたい開発者。
• セキュリティ/QAテスター： ブラウザベースのワークフローを自動化し、バグの証拠をキャプチャする必要がある人。

ハイライト

• セッション永続性： ブラウザの現在のログイン状態を使用し、手動での資格情報管理を不要にします。
• ウェブサイトデバッグ： HTTPリクエスト、レスポンスボディ、コンソールメッセージなど、AI駆動のデバッグのための詳細な証拠をキャプチャします。
• 柔軟なデプロイ： ローカル自動化、WSSを介してローカルブラウザに接続するリモートサーバーサイドエージェント、サンドボックス環境をサポートします。
• 視覚的な透明性： タスクは表示可能なエージェントウィンドウで実行され、ユーザーはエージェントが既存のタブを借用するときに確認できます。
• 包括的なキャプチャ： ビューポートと全ページのスクリーンショットを自動スクロールでサポートします。
• マルチプロファイルサポート： タスクを特定のブラウザプロファイルまたは名前付きインスタンスにバインドできます。