OpenAI Computer-Using Agent (CUA) と Operator 研究プレビュー
OpenAI は、Operator の研究プレビューを導入しました。これはウェブベースのタスクを実行できるエージェントです。このエージェントを駆動しているのは Computer-Using Agent (CUA) で、これは GPT-4o の視覚能力と強化学習による高度な推論を組み合わせたモデルです。OS 特有またはウェブ特有の API に依存する従来のエージェントとは異なり、CUA は生ピクセル、仮想マウス、キーボードという普遍的インターフェースを使ってグラフィカルユーザーインターフェース (GUI) と対話し、多様なデジタル環境で動作することを可能にします。
技術アーキテクチャとワークフロー
CUA は、多段階のタスクを完了するために、知覚、推論、行動の反復ループを通じて動作します：
- Perception: モデルは、現在の状態の視覚的スナップショットとして、コンピュータ画面のスクリーンショットを受け取ります。
- Reasoning: CUA は、思考の連鎖（chain-of-thought）推論を利用して観察を評価し、中間ステップを追跡し、現在および過去のスクリーンショットとアクションに基づいて動的に適応します。
- Action: モデルは、クリック、スクロール、タイピングなどのアクションを実行します。ほとんどのステップは自動的に実行されますが、CAPTCHA への応答やログイン情報の入力などのセンシティブなアクションについては、ユーザーの確認が必要です。
パフォーマンスベンチマーク
CUA は、普遍的インターフェースを使用して、いくつかのコンピュータおよびブラウザ使用ベンチマークにおいて新たな state-of-the-art (SOTA) 結果を確立しています：
| ベンチマーク | タイプ | OpenAI CUA | Previous SOTA | ヒューマンパフォーマンス |
|---|---|---|---|---|
| OSWorld | コンピュータ使用 | 38.1% | 22.0% | 72.4% |
| WebArena | ブラウザ使用 | 58.1% | 36.2% | 78.2% |
| WebVoyager | ブラウザ使用 | 87.0% | 56.0% | N/A |
ブラウザ使用分析
CUA は WebVoyager (87%) と WebArena (58.1%) で高い成功率を達成しました。シンプルなタスクでは良好に動作しますが、OpenAI は、WebArena のようなより複雑なベンチマークにおける人間のパフォーマンスとのギャップを埋めるために、さらなる改善が必要であると指摘しています。
コンピュータ使用分析
OSWorld ベンチマーク（Ubuntu、Windows、macOS などのフルオペレーティングシステムの制御を評価）において、CUA は 38.1% の成功率を達成しました。OpenAI は「テストタイムスケーリング」を観察しました。これは、モデルがタスクを完了するためにより多くのステップを許可されるほど、パフォーマンスが向上することを意味します。
実際の機能と制限
Operator リサーチプレビューを通じて、OpenAI は CUA の具体的な強みと弱みを特定しました：
- Strengths: CUA は、さまざまな UI コンポーネントと対話して検索およびフィルタリング結果を得たり、Todoist でのプロジェクトやリストの作成、Spotify でのプレイリスト作成などの繰り返しのシンプルな UI インタラクションを自動化する際に、高い信頼性（10/10 の成功率）を示します。
- Weaknesses: CUA は、なじみのない UI や正確なテキスト編集に苦労します。たとえば、トレーニング中に頻繁に遭遇していない HTML エディタを使用したとき、成功率が低く（4/10）なりました。また、複雑なサイト固有のタスクでの信頼性を向上させるために、具体的なヒントを含むより詳細なプロンプトが必要です。
安全性とリスク軽減
不正使用
有害または違法な活動を防ぐため、OpenAI は次の措置を講じています：
- Refusals: 有害なタスクを拒否するようにモデルを訓練します。
- Blocklists: ギャンブル、成人エンターテイメント、薬物・銃器販売店へのアクセスを事前にブロックします。
- Moderation: 子供の安全などの優先ポリシー領域に対して、リアルタイムの自動安全チェッカーとオフラインの検出パイプラインを提供します。
モデルの誤り
意図しない害（たとえば、ドキュメントの削除や間違った購入）を防ぐため、システムには次の機能が含まれます：
- User Confirmations: 外部の副作用を伴うタスクを最終確定する前に、ユーザーの承認を求めます。
- Task Limitations: 銀行取引などの高リスクタスクを拒否します。
- Watch Mode: メールなどのセンシティブなウェブサイトでは、アクティブなユーザー監督を必要とします。
敵対的攻撃
ウェブサイト上のプロンプトインジェクションとフィッシングから保護するため、CUA は次の手法を使用します：
- Cautious Navigation: プロンプトインジェクションを識別して無視するようにモデルを訓練します。
- Monitoring: 画面上に疑わしいコンテンツが検出された場合に実行を一時停止する別のモデル。
- Detection Pipelines: 自動および人間によるレビューで、疑わしいアクセスパターンを迅速にフラグ付けします。
今後の展望
OpenAI は、API を通じて CUA を提供し、開発者が独自のコンピュータ使用エージェントを構築できるようにする意向です。米国の Pro ユーザー向けの現在の研究プレビューは、実際の世界からのフィードバックを収集し、機能と安全対策を改善する目的で提供されています。
Sources
- OriginalComputer-Using Agent