OpenAI Operator システムカード

OpenAIは、Operatorと呼ばれるComputer-Using Agent (CUA)モデルの研究プレビューを発表しました。Operatorは、GPT-4oの視覚機能と強化学習を組み合わせ、カーソルとキーボードを使ってスクリーンショットを解釈し、グラフィカルユーザーインターフェース(GUI)と対話することで、ユーザーの監督下でレストランの予約や食料品の注文などの日常的なブラウザベースのタスクを実行できるようになります。

技術アーキテクチャとトレーニング

Operatorは、人間と同じようにコンピュータ画像を認識し、対話するように設計されています。その開発は、2つの主要なトレーニング手法に依存しています:

  • Supervised Learning: 基礎レベルの知覚と入力制御を確立するために使用され、モデルがスクリーンを読み取り、UI要素を正確にクリックできるようにします。
  • Reinforcement Learning: 複雑な推論、エラー修正、予期しないイベントへの適応など、上位レベルの能力を開発するために使用されます。

トレーニングデータは、公開されている機械学習データセット、ウェブクロール、および人間のトレーナーがコンピュータ上でタスク完了を示すために開発した専門的なデータセットの混合で構成されています。

セーフティフレームワークとリスク特定

OpenAIは、3つの主要なリスクベクトル（ユーザーのズレ（有害なタスク）、モデルのズレ（ミス）、ウェブサイトのズレ（プロンプトインジェクション））に対処するため、多層的なセーフティアプローチを利用しています。

フロンティアリスク評価

OpenAIのPreparedness Frameworkに基づいて評価したところ、Operatorのリスクレベルは以下の通りです:

  • CBRN (化学、生物、放射性、核): 低。バイオリスクツール評価では、Operatorは1%の成功率を達成し、OCRや長いDNAシーケンスに苦戦しました。
  • Cybersecurity: 低（GPT-4oから継承）。
  • Persuasion: 中（GPT-4oから継承）。
  • Model Autonomy: 低。自律複製テストでは、視覚専用入力モダリティのため、コード編集やターミナルタスクに苦戦し、主要タスクすべてで10%未満のスコアとなりました。

有害なタスクの軽減

Operatorは有害なタスクを拒否するようにトレーニングされており、内部評価セットにおいてエージェント的害悪（違法行為や禁止された金融取引など）に対する拒否率は97%を達成しています。システムレベルの制限により、禁止された活動を助長するウェブサイトへのナビゲーションが防止されます。特定の禁止用途には以下が含まれます:

  • 行為を助長したり、プライバシーを侵害したりすること。
  • 他人をだまし、詐欺を働いたり、なりすましたりすること。
  • 株取引などの高リスクな規制対象活動を自動化すること。
  • 他人を嫌がらせや名誉毀損するために使用されるコンテンツを作成すること。

モデルのミスへの対応

間違った受信者にメールを送るなどの不可逆的なエラーを防ぐため、OpenAIはいくつかのセーフガードを実装しました:

  • Confirmations: モデルは、世界の状態を変えるアクションを最終確定する前に、ユーザーの確認を求めるように設計されています。このメカニズムは、20のリスクの高いアクションカテゴリにおいて92%の再現率を達成しました。
  • Proactive Refusals: 銀行取引などの高リスクタスクは、94%の再現率で事前に拒否されます。
  • Watch Mode: メールサービスなどのセンシティブなサイトでは、ユーザーが非アクティブになったりページから離れたりした場合、Operatorは自動的に実行を一時停止します。

プロンプトインジェクションへの防御

プロンプトインジェクションは、サードパーティのウェブサイト上にある悪意のある指示にモデルが従うことで発生します。OpenAIは、モデルレベルの堅牢性により、 susceptiblity（感受性）を未対応時の62%から23%に低減しました。さらに、専用の prompt injection monitor を実装し、疑わしい攻撃時の実行検出と一時停止において99%の再現率と90%の精度を達成しました。

APIの利用可能性と開発者ガイダンス

2025年3月11日現在、CUAモデルは選択された開発者（ティア3-5）向けに computer-use-preview として利用可能です。OpenAIは、このモデルが非ブラウザ環境では現在信頼性が低く、OSWorldでの成功率が38.1%であることを指摘しています。

API固有のリスク（システムメッセージの変更による大規模な悪用やジェイルブークの可能性の増加など）を軽減するため、OpenAIは以下を提供します:

  • Containerized Starter Setup: 隔離された環境の使用を促進するDockerアプリケーション。
  • Safety Checks: APIへのプロンプトインジェクションおよびセンシティブドメインチェックの統合。
  • Enhanced Monitoring: 疑わしい使用パターンおよびポリシー違反の検出を拡張。

現在の制限事項

Operatorはまだ初期段階であり、短く繰り返し行えるタスクに最も適しています。現在、カレンダーやスライドショーなどの複雑な環境では課題に直面しています。敵対的堅牢性は未解決の研究問題であるため、OpenAIは限定的な研究プレビューの展開から得られた実際の観察に基づいて、安全対策の改良を続けています。

Sources