microsoft/CUAWright

解決する課題

CUAWrightは、コーディングモデルがWebブラウザとデスクトップアプリケーションの両方を自動化するための統一インターフェースを提供します。エージェントが一度に1つのアクションしか予測しない従来の「ステップバイステップ」の対話ループから脱却し、ブラウザやデスクトップをコーディングエージェントがターミナル経由で起動、プログラミング、デバッグできる環境として扱います。

仕組み

CUAWrightは、LLMに自由形式のPythonスクリプト（Web用にはPlaywrightを使用）を作成・実行したり、Ubuntu VM内でOSコマンド（デスクトップタスク用）を実行したりするためのターミナルを提供します。エージェントは、コードの記述、実行、スクリーンショットやログの確認、そしてタスクが完了するまでのコード修正を繰り返します。この「コード・アズ・アクション（コードをアクションとする）」アプローチにより、エージェントは壊れやすい使い捨ての対話ではなく、再利用可能でパラメータ化されたスクリプトを作成できるようになります。

対象ユーザー

ブラウザを使用するエージェントを構築する開発者や、Claude Code、Codex、Hermesなどの既存のコーディングエージェントにブラウザ/デスクトップ自動化機能を統合したいユーザー向けに設計されています。

ハイライト

• 統一インターフェース: PlaywrightによるWeb自動化と、Ubuntu VMでのデスクトップ自動化の両方をサポート。
• コード中心のパラダイム: エージェントはローカルワークスペースでスクリプトを記述・デバッグするため、ブラウザセッションは使い捨て可能であり、コードが永続的な成果物となります。
• スキルファクトリー: 解決済みのタスクを、LLMなしで単独実行可能な、再利用可能で検証済みのパラメータ化されたPythonスクリプトに抽出できます。
• プラグインサポート: Claude CodeおよびOpenAI Codex用のマニフェストが付属しており、これらのエージェントがCUAWrightをスキルとして使用できます。
• 高性能: OSWorld-V2やOnline-Mind2Webなどのベンチマークにおいて、精度の向上とAPIコストの削減を実現しています。