trycua/cua

何を解決するか

Cuaは、"コンピュータ操作"AIエージェントのための包括的なインフラストラクチャを提供し、ローカルおよびクラウド環境の両方でmacOS、Windows、Linux、Androidのデスクトップオペレーティングシステムと相互作用できるようにします。ユーザーのカーソルやフォーカスに干渉せずに、クリック、入力、スクリーンショットなどの操作を実行するための一貫したAPIをエージェントに提供する問題を解決します。

動作方法

Cuaは以下の統合コンポーネントで構成されています：

• Cuaドライバ: これらのドライバにより、エージェントがバックグラウンドでネイティブデスクトップアプリを操作でき、AIの操作がユーザーのカーソルやフォーカスを奪うことを防ぎます。
• Cuaサンドボックス: 異なるオペレーティングシステム間でエージェント対応のサンドボックス（VMまたはコンテナ）を管理するためのユニファイドAPIを提供するSDKです。
• Cua-Bench: OSWorldやScreenSpotなどのデータセット上でエージェントを評価できるベンチマークおよびRL環境であり、トレーニング用のトラジェクトリをエクスポートできます。
• Lume: Apple Silicon上のmacOSおよびLinux VM専用の仮想化ツールで、AppleのVirtualization.Frameworkを使用してネイティブに近いパフォーマンスを実現します。

対象ユーザー

• AIエージェント開発者: デスクトップソフトウェアと自律的に相互作用するエージェントを開発している人。
• 機械学習研究者: RL環境やベンチマークを使用してコンピュータ操作モデルのトレーニングや評価を行っている人。
• ソフトウェアエンジニア: 自動テストやエージェントワークフロー用にスケーラブルで一時的なmacOS、Windows、Linux環境が必要な開発者。

特徴

• クロスOS対応: macOS、Windows、Linux、AndroidのユニファイドAPI。
• バックグラウンド実行: ユーザーのカーソルを奪わないエージェントのアプリ操作を可能にするドライバ。
• 統合ベンチマーク: OSWorld、ScreenSpot、Windows Arenaのネイティブサポート。
• Apple Silicon最適化: Lumeによる高パフォーマンスmacOS仮想化。
• 柔軟なデプロイメント: クラウドホストサンドボックスとローカルのQEMUベース環境の両方をサポート。