openai/openai-cua-sample-app

해결하는 문제

이 프로젝트는 소프트웨어 인터페이스를 조작하여 작업을 완료할 수 있는 AI 시스템인 "컴퓨터 사용" 에이전트에 대한 참조 구현을 제공합니다. 화면을 검사하고, 작업을 결정하며, 코드를 통해 실행하고, 피드백 루프를 통해 결과를 검증할 수 있는 자율 에이전트를 구축하는 과제를 해결합니다.

작동 방식

이 프로젝트는 AI 모델이 소프트웨어와 상호 작용하기 위해 코드를 작성하고 실행하는 지속적인 런타임 루프를 구현합니다. 두 가지 별도의 구현이 포함되어 있습니다.

• JavaScript/Playwright: 헤드리스 브라우저를 사용하여 작업을 수행하고 상태를 캡처합니다.
• Python/PyAutoGUI: 스크린샷을 캡처하고 마우스 및 키보드 입력을 시뮬레이션하여 데스크톱 환경을 제어합니다.

두 구현 모두 작업을 관리하기 위한 웹 콘솔, 모델-코드-피드백 상호 작용을 처리하는 핵심 에이전트 루프, 에이전트 성능을 테스트하기 위한 "랩"(예약 또는 칸반 시스템과 같은 모의 환경)으로 구성된 공통 아키텍처를 공유합니다.

대상 사용자

이 저장소는 표준 라이브러리와 OpenAI API를 사용하여 컴퓨터 사용 기능을 구현하는 방법을 배우고자 하는 에이전트 시스템 구축 개발자 및 연구원을 위해 설계되었습니다. 지속적이고 상태를 유지하는 에이전트 루프를 구축하기 위한 실용적인 가이드 역할을 합니다.

주요 특징

• Playwright(웹) 및 PyAutoGUI(데스크톱)를 사용하는 두 가지 완전한 에이전트 구현이 포함되어 있습니다.
• 시나리오 관리, 프롬프트 편집, 에이전트 실행 모니터링을 위한 공유 웹 콘솔을 제공합니다.
• 실제 작업을 시뮬레이션하기 위한 "랩" 템플릿(예약, 칸반, 페인트)을 제공합니다.
• OpenAI SDK ComputerToolset을 사용하여 강력한 에이전트 루프를 구축하는 방법을 보여줍니다.
• 에이전트 추적을 재생하고 스크린샷 타임라인을 검사하여 에이전트 동작을 디버깅할 수 있는 내장 지원이 포함되어 있습니다.