simular-ai/Agent-S

해결하는 문제

Agent S는 마우스, 키보드, 화면을 사용하여 사람과 똑같이 그래픽 사용자 인터페이스(GUI)와 상호작용함으로써 데스크톱 및 웹 애플리케이션을 자동화하도록 설계되었습니다. 모든 앱에 대해 애플리케이션별 API나 맞춤 스크립트가 필요 없으며, macOS, Windows, Linux에서 모든 소프트웨어에 걸쳐 자연어 작업을 실행할 수 있습니다.

작동 방식

이 프레임워크는 메인 생성 모델(예: GPT-5 또는 Claude)과 접지 모델(예: UI-TARS)의 조합을 사용하여 자연어 지침을 정확한 GUI 동작으로 변환합니다. 화면의 스크린샷을 캡처하고 분석한 다음 클릭, 입력, 스크롤을 실행합니다. 또한 작업 에이전트를 지원하는 반영 에이전트와 에이전트가 데이터 처리 또는 시스템 자동화 작업을 위해 Python 및 Bash 코드를 실행할 수 있는 선택적 로컬 코딩 환경을 갖추고 있습니다.

대상 사용자

이 프로젝트는 운영 체제 에이전트를 연구하는 AI 연구자, 자신의 데스크톱 워크플로우를 자동화하려는 개발자, 오픈 소스 컴퓨터 사용 에이전트에 기여하려는 기여자를 대상으로 합니다.

주요 특징

• 크로스 플랫폼 지원: Windows, macOS, Linux에서 작동합니다.
• 인간 수준의 성능: Agent S3는 OSWorld 벤치마크에서 인간 수준의 성능(72.60%)을 넘어섰습니다.
• 모델 무관: OpenAI, Anthropic, Gemini 및 vLLM 또는 Open Router를 통한 오픈 가중치 제공업체의 모델을 지원합니다.
• 통합 코드 실행: 복잡한 데이터 조작이나 시스템 작업을 처리하기 위해 로컬에서 임의의 Python 및 Bash 코드를 실행할 수 있습니다.

요약

실제 GUI를 마우스, 키보드, 화면으로 작동하여 데스크톱 및 웹 애플리케이션에서 자연어 작업을 완료하는 오픈 소스 컴퓨터 사용 에이전트 프레임워크입니다.

제목

사람처럼 실제 GUI를 작동하는 오픈 소스 컴퓨터 사용 에이전트