ctoldigital/axuse

Accessibility-first browser & computer use for AI agents — one MCP server for every harness (Codex, Claude Code, OpenCode, Antigravity). Instruments the DOM/accessibility tree via CDP instead of screenshot loops: diffed snapshots, stable element refs, trusted input, typed errors. Zero dependencies

解決する課題

AIエージェントはウェブページと対話する必要があることが多いですが、従来の方法（スクリーンショットを撮ってピクセル座標を推測する）は遅く、壊れやすく、エラーが発生しやすいです。axuse は、画像の代わりにブラウザのアクセシビリティツリーと DOM を使用して、エージェントに構造化されたテキストベースのページビューを提供することでこれを解決します。これにより、自動化がより速く、より信頼性が高く、トークン消費もはるかに少なくなります。

仕組み

axuse は MCP（モデルコンテキストプロトコル）サーバーとして動作し、Codex、Claude Code、OpenCode、または MCP 対応ホストなどのエージェントハーネスに接続します。エージェントがページを開くよう要求すると、axuse は各インタラクティブ要素の安定した参照を含むコンパクトなアクセシビリティスナップショットを返します。クリック、入力、スクロールなどのアクションは、それらの参照を直接ターゲットにします。ページ状態の変更のみが送り返され、完全なスナップショットは送信されません。Chrome DevTools プロトコル（CDP）を使用して信頼できる入力イベントを送信し、検出を回避します。また、ヘッドレス Linux マシン用のサーバーモード、自分のログイン済みブラウザを制御する拡張ブリッジ、Windows、macOS、Linux でのデスクトップ制御も備えています。

対象者

ブラウザまたはデスクトップの自動化を必要とする AI エージェントを構築する開発者、特に Codex、Claude Code、OpenCode、Antigravity などのエージェントハーネスを使用する開発者。非開発者向けにもパッケージ化されています。ダウンロード可能なファイルは Claude Desktop でダブルクリックでき、インストールプロンプトを他のエージェントに貼り付けて自動設定できます。

ハイライト

  • npm 依存関係ゼロ（Node.js 22+ のみ）
  • サーバー評価タスク 28/28 を達成、中央値時間 17 秒（Codex+拡張機能は 26 秒、browser-use は 56 秒）。トークン使用量 4.7M（比較対象は 9.8M と 8.8M）
  • 差分ベースの観察：変更された行のみが返され、トークンと遅延を節約
  • REF_NOT_FOUND や STALE_STATE などの型付きエラーと再試行ヒントを提供し、静かな誤クリックを防止
  • 拡張ブリッジで日常使用の Chrome/Edge とログイン済みセッションを操作
  • サーバーモードは仮想ディスプレイでヘッド付き Chrome を実行し、ボット対策を回避（Turnstile で検証済み）
  • オプションの CAPTCHA ソルバープラグイン（商用）と無料の参照実装
  • デスクトップ制御：Windows（検証済み）、macOS（オプトイン）、Linux（X11/XWayland）

関連

  • プロジェクト
    zhangfengcdt/memoir

    AIエージェント向けの高性能なセマンティックメモリシステム。Gitに似たバージョン管理、階層的セマンティックパス、暗号的整合性をメモリ管理に導入。

  • プロジェクト
    ZJU-REAL/HugAgentOS

    HugAgentOSは、AIエージェントが知識の取得、コードの実行、現実世界のタスクを完了できるようにする、オープンソースでセルフホスト型の「AgentOS」です。ドメインオントロジーをルールベースで追跡可能な実行のためのコントロールプレーンとして使用し、チャット、プライベートRAG、サブエージェント、スキル拡張、サンドボックス化されたコード、多層メモリ、自動化、Web UIを提供します。ワンコマンドスクリプト（SQLite）またはDocker-Compose（PostgreSQL/Redis、オプションでMilvus/Neo4j）でインストール可能です。コミュニティ版はApache-2.0ライセンスで、エンタープライズ版にはマルチテナントガバナンスが追加されます。

  • プロジェクト
    fuxiaoai/tidings-rss

    厳格な品質チェックを経た厳選RSSフィード集（718フィード、16個のOPMLバンドル）と、AI要約、翻訳、ポッドキャスト再生、FreshRSS同期機能を備えたmacOS用リーダーアプリ。

  • プロジェクト
    RekklesNA/ProxmoxMCP-Plus

    ProxmoxMCP-Plusは、AIエージェント（MCP経由）および標準的なHTTPツール（OpenAPI経由）がProxmox VE仮想化サーバーを安全に操作できるようにするブリッジです。VM/LXCのライフサイクル管理、スナップショット、バックアップ、ISO管理、コンテナコマンド、および永続的なジョブ追跡をカバーします。APIトークン、コマンドポリシー、承認ゲート、TLS検証によるセキュリティを重視しており、ローカルstdio、DockerベースのHTTP、およびオプトインのサンドボックス化されたコードモードをサポートしています。PostgreSQLでバックアップされたオプションのOAuthブラウザゲートフローにより、リモートクライアントの認証を処理します。