e2b-dev/surf

何を解決するか

Surf は AI エージェントが完全な仮想デスクトップ環境とやり取りできる方法を提供します。AI を単純な API 呼び出しやテキストベースのインタラクションに制限する問題を解決し、エージェントが人間のようにコンピュータを操作できるようにします—クリック、入力、Linux ベースのデスクトップ上でナビゲートする。すべては安全で隔離されたサンドボックス内で実行されます。

動作方法

Surf は 3 つの主要なコンポーネントを統合しています：Next.js フロントエンド、E2B のデスクトップサンドボックス、OpenAI の Computer Use API。ユーザーが自然言語の指示を提供すると、バックエンドは OpenAI を使って具体的なコンピュータ操作（クリックやキーストロークなど）を生成します。これらの操作は E2B の仮想デスクトップ内で実行され、Server-Sent Events (SSE) を使ってリアルタイムでユーザーのブラウザに視覚的な更新がストリーミングされます。

対象ユーザー

コンピュータインターフェースを操作できるエージェントの構築やテストをしたい開発者や AI 研究者。複数のアプリケーションにまたがる複雑なマルチステップワークフローの自動化、AI によるコンピュータ操作のための視覚フィードバックループの提供に適しています。

特徴

• 仮想デスクトップサンドボックス：クラウド上で安全で隔離された Linux ベースのデスクトップを実行。
• リアルタイムストリーミング：視覚的な更新と AI の推論が発生するたびに UI にストリーミングされる。
• 会話型インターフェース：指示の送信とサンドボックスインスタンスの管理にチャットベースのシステムを使用。
• OpenAI 統合：OpenAI の専門的なコンピュータ操作機能を活用し、自然言語をデスクトップ操作に変換。