openai/openai-cua-sample-app

解決する課題

このプロジェクトは、「コンピュータ使用」エージェント（ソフトウェアインターフェースを操作してタスクを完了できるAIシステム）の参照実装を提供します。画面を検査し、アクションを決定し、コードを通じてそれを実行し、フィードバックループを通じて結果を検証できる自律型エージェントを構築するという課題に対処します。

仕組み

このプロジェクトは、AIモデルがコードを記述・実行してソフトウェアと対話する永続的なランタイムループを実装しています。以下の2つの異なる実装が含まれています。

• JavaScript/Playwright： ヘッドレスブラウザを使用してアクションを実行し、状態をキャプチャします。
• Python/PyAutoGUI： スクリーンショットをキャプチャし、マウスやキーボード入力をシミュレートしてデスクトップ環境を制御します。

両方の実装は、タスクを管理するためのWebコンソール、モデル・コード・フィードバックの相互作用を処理するコアエージェントループ、およびエージェントのパフォーマンスをテストするための「ラボ」（予約システムやカンバンシステムなどのモック環境）からなる共通のアーキテクチャを共有しています。

対象読者

このリポジトリは、標準ライブラリと OpenAI API を使用してコンピュータ使用機能を実装する方法を理解したい、エージェントシステムを構築する開発者や研究者向けに設計されています。永続的でステートフルなエージェントループを構築するための実践的なガイドとして機能します。

ハイライト

• Playwright（Web）と PyAutoGUI（デスクトップ）を使用した2つの完全なエージェント実装が含まれています。
• シナリオの管理、プロンプトの編集、エージェントの実行監視を行うための共有Webコンソールを備えています。
• 現実世界のタスクをシミュレートするための「ラボ」テンプレート（予約、カンバン、ペイント）を提供します。
• OpenAI SDK ComputerToolset を使用して堅牢なエージェントループを構築する方法を実証します。
• エージェントのトレースをリプレイし、スクリーンショットのタイムラインを検査してエージェントの動作をデバッグするための組み込みサポートが含まれています。