e2b-dev/surf

解决的问题

Surf 为 AI 代理提供了一种与完整虚拟桌面环境交互的方式。它解决了将 AI 限制在简单 API 调用或基于文本的交互中的问题，使代理能够像人类一样操作计算机——点击、输入并导航基于 Linux 的桌面环境，所有操作都在安全、隔离的沙箱中进行。

工作原理

Surf 集成了三个主要组件：Next.js 前端、E2B 的桌面沙箱和 OpenAI 的 Computer Use API。当用户输入自然语言指令时，后端通过 OpenAI 处理，生成具体的计算机操作（如点击或键盘输入）。这些操作在 E2B 虚拟桌面中执行，通过 Server-Sent Events (SSE) 实时将视觉更新流式传输回用户的浏览器。

适用人群

希望构建或测试能够操作计算机界面、跨不同应用程序自动化复杂多步骤工作流，并为 AI 驱动的计算机交互提供视觉反馈循环的开发者和 AI 研究人员。

主要亮点

• 虚拟桌面沙箱：在云端运行安全、隔离的基于 Linux 的桌面环境。
• 实时流式传输：视觉更新和 AI 推理在发生时实时流式传输到 UI。
• 对话式界面：基于聊天的系统，用于发送指令并管理沙箱实例。
• OpenAI 集成：利用 OpenAI 的专用计算机使用功能，将自然语言转换为桌面操作。