openai/openai-cua-sample-app

解决的问题

该项目为“计算机使用”代理提供了参考实现——即能够操作软件界面以完成任务的 AI 系统。它解决了构建自主代理的挑战，这些代理可以检查屏幕、决定操作、通过代码执行操作，并通过反馈循环验证结果。

工作原理

该项目实现了一个持久的运行时循环，AI 模型在其中编写并执行代码以与软件交互。它包含两种不同的实现：

• JavaScript/Playwright： 使用无头浏览器执行操作并捕获状态。
• Python/PyAutoGUI： 通过截取屏幕截图和模拟鼠标及键盘输入来控制桌面环境。

两种实现共享一个通用架构，包括用于管理任务的 Web 控制台、处理模型-代码-反馈交互的核心代理循环，以及一组用于测试代理性能的“实验室”（如预订或看板系统等模拟环境）。

适用人群

该存储库专为构建代理系统的开发人员和研究人员设计，他们希望了解如何使用标准库和 OpenAI API 实现计算机使用功能。它作为构建持久、有状态代理循环的实用指南。

亮点

• 包含两个使用 Playwright（Web）和 PyAutoGUI（桌面）的完整代理实现。
• 具有一个共享的 Web 控制台，用于管理场景、编辑提示词和监控代理运行。
• 提供“实验室”模板（预订、看板、绘图）以模拟现实世界的任务。
• 演示了如何使用 OpenAI SDK ComputerToolset 构建稳健的代理循环。
• 内置支持重放代理轨迹和检查屏幕截图时间线，以调试代理行为。