e2b-dev/surf

解決的問題

Surf 提供了一種讓 AI 代理與完整虛擬桌面環境互動的方式。它解決了將 AI 限制在簡單 API 呼叫或文字互動的問題，讓代理能像人類一樣操作電腦——點擊、輸入並在基於 Linux 的桌面環境中導航，所有操作都在安全、隔離的沙箱中進行。

工作原理

Surf 整合了三個主要元件：Next.js 前端、E2B 的桌面沙箱，以及 OpenAI 的 Computer Use API。當使用者提供自然語言指令時，後端透過 OpenAI 處理，產生具體的電腦操作（例如點擊或鍵盤輸入）。這些操作在 E2B 虛擬桌面中執行，並透過 Server-Sent Events (SSE) 即時將視覺更新流式傳送到使用者的瀏覽器。

適用對象

希望建構或測試能操作電腦介面、跨不同應用程式自動化複雜多步驟工作流程，並為 AI 驅動的電腦互動提供視覺反饋迴路的開發者與 AI 研究人員。

主要亮點

• 虛擬桌面沙箱：在雲端運行安全、隔離的 Linux 基礎桌面環境。
• 即時串流：視覺更新與 AI 推理在發生時即時串流至 UI。
• 對話式介面：基於聊天的系統，用於傳送指令並管理沙箱實例。
• OpenAI 整合：利用 OpenAI 的專用電腦使用功能，將自然語言轉換為桌面操作。