openai/openai-cua-sample-app

它解决了什么问题

此项目提供了构建「计算机使用代理」的参考实现——即能够通过检查屏幕、选择操作并验证结果来操作软件界面的AI系统。

它如何工作

该系统使用一个循环，其中模型编写代码以与软件交互。一个持久的运行时在调用之间保持状态和辅助函数，使模型能够组合多个操作并处理观察结果，而无需为每个步骤都往返于模型。该仓库包含两种不同的实现：

• JavaScript/Playwright：使用 Playwright 定位器和截图来控制网页浏览器。
• Python/PyAutoGUI：通过截图、鼠标输入和键盘按键来控制桌面环境。

适用于谁

希望实现代理工作流的开发者，其中AI需要控制浏览器或桌面操作系统来完成任务。

主要亮点

• 双运行时支持：同时包含基于浏览器（Playwright）和基于桌面（PyAutoGUI）的代理。
• 持久化状态：使用一个在模型调用之间保持状态的运行时，以减少延迟和上下文使用量。
• 场景实验室：包含一组实验室模板（看板板、绘图画布、酒店预订），用于测试和提示代理。
• 可追溯性：提供一个网页控制台，用于检查记录的追踪和截图时间线，以审查代理行为。

一个用于测试和提示代理的实验室模板集合，包括看板板、绘图画布和酒店预订——@handle