trycua/cua
Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.
解決する課題
Cua は、AIエージェントがコンピュータと対話するために必要なインフラストラクチャとツールを提供します。エージェントに安全で隔離された環境（サンドボックス）を提供し、APIやWebブラウザに限定されることなく、macOS、Windows、Linux上のネイティブデスクトップアプリケーションを操作する能力を実現します。
仕組み
Cua はいくつかの統合されたコンポーネントを通じて動作します：
- Cua Driver: エージェントがネイティブデスクトップアプリやブラウザを検査・操作するためのツール。バックグラウンド配信をサポートしており、フォーカスを奪ったりユーザーのポインタを動かしたりすることなくエージェントが作業可能です。
- Sandboxes & Fleets: エージェントがワークスペースとして使用できる隔離されたクラウドデスクトップ (Fleets) またはローカルコンテナ/VM (Lume) を提供します。
- CUA-S1: フォームへの入力やインターフェース要素との対話など、迅速で限定的な意思決定のために設計された、小型で専門的な「System 1」モデル群。
- Cua Bench: タスクの構築、エージェントのパフォーマンス評価、およびトレーニング用の軌跡をエクスポートするためのフレームワーク。
- SDKs & CLI: これらの環境とツールを管理するための統一インターフェース (Python, TypeScript, Swift, Kotlin)。
対象ユーザー
複数のデスクトップアプリケーションにわたる複雑なタスクを実行する必要があるAIエージェントを構築する開発者、コンピュータ利用AIを研究する研究者、およびエージェントによる自動化のために隔離されたスケーラブルなクラウド環境を必要とするチーム。
ハイライト
- クロスプラットフォーム対応: macOS、Windows、Linuxで動作します。
- 隔離された環境: ローカルVM (Lume経由) とクラウドベースのサンドボックスの両方を提供します。
- 専門モデル: インターフェース固有の効率的な意思決定のための CUA-S1 を含みます。
- エージェント非依存: 自動化インフラを提供しつつ、ユーザーが独自のエージェントやモデルを持ち込むことを可能にします。
- 評価ツール: Cua Bench を介した組み込みのベンチマークおよび RL 環境。
関連
- Dispatch
- Dispatch
- プロジェクト
- プロジェクト
- プロジェクト