Cua と CUA-S1: AIコンピュータ利用のためのオープンソースインフラストラクチャ

Cua は、macOS、Windows、Linux のすべてのプラットフォームでネイティブデスクトップアプリケーションやブラウザと対話できるようにするためのオープンソースエコシステムです。このフレームワークは「コンピュータ利用 2.0」というパラダイムを導入し、AIエージェントが1つのタスク内でコードの実行、APIの呼び出し、グラフィカルユーザーインターフェース（GUI）との対話の間をスムーズに切り替えることを可能にします。

CUA-S1: 特化型「システム1」意思決定モデル

CUA-S1 は、汎用的な計画やトークン単位のテキスト生成ではなく、高速で制限付きの意思決定（「システム1」意思決定）に特化した小型のモデル群です。これらのモデルは、繰り返し発生する特定のインターフェース操作を処理することで、汎用エージェントの推論能力を補完することを目的としています。

意思決定スコアリングに焦点を当てる

CUA-S1 の初期研究の焦点はフォームにあります。応答を生成するのではなく、構造化されたインターフェース要素やドキュメント値に基づいて意思決定をスコアリングします。このアプローチにより、アプリケーションコードがアクションの順序を決定でき、オプションの Cua Driver が明示的なアクション境界で実際の実行を処理します。

利用可能性和ライセンス

CUA-S1 は現在、ソースコードのみの研究リリースです。Python のモデルコード、合成データ生成、評価ツールは MIT ライセンスで GitHub に公開されていますが、モデル重みやデータセット（例: CUA-S1-FORMS）は Hugging Face にホストされています。

Cua Driver: クロスプラットフォームデスクトップ自動化

Cua Driver は、エージェントがネイティブデスクトップアプリケーションやブラウザを検査・操作するためのツールを提供します。macOS、Windows、Linux をサポートし、バックグラウンド配信を可能にすることで、プラットフォームとアプリケーションが対応している限り、ユーザーのマウスポインタを移動させたりフォーカスを奪ったりせずにエージェントがアプリと対話できます。

エージェントは CLI、Model Context Protocol (MCP)、またはタイプ付き SDK を介して Cua Driver に接続できます。Claude Code、Codex、Cursor、OpenClaw などの既存のエージェントフレームワークと統合されるように設計されています。

エージェントデプロイメントのためのインフラストラクチャ

Cua は、エージェントが動作する環境をプロビジョニングするための2つの主要な方法を提供します。

Cua Fleets

Cua Fleets を使用すると、隔離されたクラウドデスクトップをプロビジョニングできます。Sandbox SDK を使って、プールからデスクトップを割り当て、コマンドを実行し、スクリーンショットを取得し、サンドボックス環境内でアプリケーションと対話できます。

Lume

Lume は、Apple の Virtualization.Framework を使って Apple Silicon 上でローカルの macOS および Linux VM を作成・管理するためのツールです。これにより、開発者は隔離されたローカル環境でエージェントを実行できます。たとえば、Apple のリカバリイメージから macOS Tahoe VM を作成し、SSH で接続することが可能です。

Cua Bench: 評価とトレーニング

Cua Bench は、コンピュータ利用タスクの構築、エージェントのパフォーマンス評価、トレーニング用の軌道（trajectories）のエクスポートを行うためのフレームワークです。VM や Docker、モデルAPIキーを必要としないシミュレートされたタスクの作成が可能で、エージェントの報酬の迅速なテストと検証が実現できます。

コミュニティの知見と技術的議論

コミュニティメンバーは、テキスト生成ではなく意思決定スコアリングに注目するアーキテクチャのシフトが、コンピュータ利用において特に興味深いアプローチであると指摘しています。また、専門モデルの階層化の可能性についても議論が生まれています：

専門モデル（フォーム、Wikipedia、Final Cut など）を多数用意し、親モデルが最適なものを選ぶというアイデアはいかがでしょうか… LLM が大きな目標を提示し、そのタスクを迅速に実行するために専門モデルの連鎖をトリガーするという考えです？

これは、高レベルの計画者（システム2）が特定のGUI操作を専門的な CUA-S1 モデル群（システム1）に委任する進化の可能性を示唆しています。