e2b-dev/surf

해결하는 문제

Surf는 AI 에이전트가 완전한 가상 데스크톱 환경과 상호작용할 수 있는 방법을 제공합니다. AI를 단순한 API 호출이나 텍스트 기반 상호작용에 제한하는 문제를 해결하며, 에이전트가 인간처럼 컴퓨터를 사용할 수 있도록 클릭, 입력, 리눅스 기반 데스크톱 내에서 탐색할 수 있게 합니다. 모든 작업은 안전하고 격리된 사전 환경에서 수행됩니다.

작동 방식

Surf는 세 가지 주요 구성 요소를 통합합니다: Next.js 프론트엔드, E2B의 데스크톱 사전 환경, OpenAI의 Computer Use API. 사용자가 자연어 지시를 제공하면 백엔드는 OpenAI를 통해 구체적인 컴퓨터 작업(클릭 또는 키보드 입력 등)을 생성합니다. 이러한 작업은 E2B 가상 데스크톱 내에서 실행되며, Server-Sent Events (SSE)를 사용해 실시간으로 사용자의 브라우저로 시각적 업데이트가 스트리밍됩니다.

대상 사용자

컴퓨터 인터페이스를 조작할 수 있는 에이전트를 구축하거나 테스트하고 싶은 개발자 및 AI 연구자. 다양한 애플리케이션을 넘나드는 복잡한 다단계 워크플로우 자동화, AI 기반 컴퓨터 상호작용을 위한 시각 피드백 루프 제공에 적합합니다.

주요 특징

• 가상 데스크톱 사전 환경: 클라우드에서 안전하고 격리된 리눅스 기반 데스크톱을 실행합니다.
• 실시간 스트리밍: 시각적 업데이트와 AI 추론이 발생하는 즉시 UI로 스트리밍됩니다.
• 대화형 인터페이스: 지시 전송 및 사전 환경 인스턴스 관리를 위한 채팅 기반 시스템입니다.
• OpenAI 통합: OpenAI의 전용 컴퓨터 사용 기능을 활용해 자연어를 데스크톱 작업으로 변환합니다.