OthersideAI/self-operating-computer

해결하는 문제

컴퓨터 작업을 자동으로 수행하려면 인터페이스가 변경되면 깨지는 스크립트를 작성해야 하는 경우가 많습니다. 이 프레임워크는 멀티모달 모델이 화면을 관찰하고 인간처럼 클릭, 입력, 스크롤 등의 작업을 수행할 수 있게 하여 사용자 지정 코드 없이 동적이거나 익숙하지 않은 인터페이스를 처리할 수 있습니다.

작동 방식

모델은 현재 화면의 스크린샷과 텍스트 목표를 받은 다음 일련의 마우스 및 키보드 동작을 출력하고 프레임워크가 이를 실행합니다. 프레임워크에는 여러 모델 통합(GPT-4o, GPT-4.1, o1, Gemini Pro Vision, Claude 3, Qwen-VL, LLaVa)과 특수 모드가 포함됩니다:

• OCR 모드: 광학 문자 인식을 사용하여 텍스트 요소의 클릭 가능한 맵을 생성하여 정확도를 향상시킵니다.
• Set-of-Mark(SoM) 모드: 간단한 객체 감지기를 사용하여 버튼을 표시하고 시각적 접지를 강화합니다. 음성 입력은 --voice 플래그를 통해 지원됩니다.

대상 사용자

컴퓨터 사용 에이전트를 실험하고, 다양한 멀티모달 모델을 테스트하거나, 이 기능의 초기 오픈소스 예제를 기반으로 구축하려는 개발자와 연구자. 선택한 모델의 API 키가 필요하며 Mac, Windows, Linux(X 서버 포함)에서 작동합니다.

주요 특징

• 전체 컴퓨터 사용을 위한 최초의 오픈소스 프레임워크 중 하나(2023년 11월).
• 여러 모델 백엔드: GPT-4o, GPT-4.1, o1, Gemini Pro Vision, Claude 3, Qwen-VL, LLaVa(Ollama 통해).
• OCR 모드는 텍스트를 좌표로 매핑하여 안정적인 클릭을 제공합니다.
• Set-of-Mark 프롬프트는 시각적 접지를 향상시킵니다.
• 핸즈프리 목표 입력을 위한 음성 입력.
• 간단한 설치 및 실행: pip install 및 operate 명령.