Tongyi-MAI/OpenGCUA

OpenGCUA – 오픈 범용 컴퓨터 사용 에이전트

개요

• 대규모 언어 모델(GPT‐6 Astra, Claude Opus 5, Gemini 3.8 Flash 등 최첨단 모델 포함)이 실제 컴퓨터를 작동할 수 있게 하는 오픈소스 스택입니다. 시각적 관찰(스크린샷, 접근성 트리), 프로그래매틱 API, 셸 명령, GUI 작업을 코드 실행 워크플로로 결합합니다.
• 프로젝트는 세 가지 주요 요소를 공개합니다:
  1. macOS 실기기 하네스 – 자신의 Mac에서 에이전트를 실행하는 메뉴 바 앱(CuaDriver).
  2. 크로스 디바이스 SDK – 컴퓨터, 브라우저, Android 휴대폰, Linux 머신을 추상화하고 창, 앱, 접근성 데이터를 노출하는 Python/Rust API.
  3. 평가 궤적 – OSWorld‐v2 벤치마크에서 8개 최첨단 모델의 기록된 실행 결과로, OpenGCUA가 점수를 높이고 단계 수를 줄이는 것을 보여줍니다.

중요성

• 현재의 "컴퓨터 사용 에이전트"는 일반적으로 폐쇄적이고 GUI 전용이며 고정된 하네스에 의존합니다. OpenGCUA는 의사 결정(무엇을 관찰할지, 어떻게 행동할지, 작업을 어떻게 구성할지)을 모델 자체로 옮기고 코드 실행을 추가하여 모델이 한 단계에서 많은 작업을 수행하는 스크립트를 작성하고 실행할 수 있게 합니다.
• 공개된 하네스와 SDK를 통해 연구자는 전체 스택을 실험하고 논문의 결과를 재현하며 자체 GCUA 모델을 구축할 수 있습니다.

주요 구성 요소

구성 요소	설명
OSWorld 통합 예제	OSWorld‐v2 벤치마크의 작업을 해결하기 위해 스크린샷 또는 코드 작업을 사용하는 샘플 에이전트.
macOS 실기기 하네스	SwiftUI/AppKit 메뉴 바 앱(CuaDriver). 접근성 및 화면 녹화 권한을 부여하고 에이전트를 실행하며 플로팅 작업 패널을 표시합니다.
크로스 디바이스 SDK	Python 바인딩(qwen_intelligence)이 있는 Rust 핵심. macOS, Android, 브라우저, Linux를 통합 제어하기 위한 runtime.add_macos, runtime.session, app.ui.ax.observe() 등을 제공합니다.
평가 궤적	8개 최첨단 모델(GPT‐6 Astra, Claude Opus 5, Gemini 3.8 Flash, GLM‐5.3‐Flash, Qwen 3.8‐Max, Qwen 3.8‐Flash, Kimi K3, DeepSeek‐V4.1‐Flash)의 JSON/추적 파일.

시작하기 (macOS)

# 클론하고 가상 환경 설정 (uv 권장)
git clone https://github.com/Tongyi-MAI/OpenGCUA.git
cd OpenGCUA
uv venv --python 3.12
source .venv/bin/activate
uv pip install -e ./packages/sdk -e ./packages/harness/runtime

# 네이티브 드라이버 앱 및 브라우저 엔진 설치
.venv/bin/mu setup macos
.venv/bin/mu doctor macos
.venv/bin/mu setup browser --engine chromium
.venv/bin/mu doctor browser --engine chromium

# API 키 및 모델 구성
cp packages/harness/configs/macos_demo.json packages/harness/configs/local.json
# local.json 편집 → api_key, model_name, llm_base_url, llm_protocol 설정

# CuaDriver.app에 접근성 및 화면 녹화 권한 부여 후 확인
.venv/bin/mu doctor macos

# 대화형 터미널 에이전트 실행
.venv/bin/python packages/harness/runtime/mac_agent.py

동일한 SDK는 모든 Python 스크립트에서 장치를 제어하는 데 사용할 수 있습니다. 예:

import asyncio
from qwen_intelligence import Runtime

async def demo():
    async with Runtime() as rt:
        await rt.add_macos(name="local-mac")
        async with rt.session() as mu:
            mac = await mu.register("local-mac", name="mac")
            app = await mac.apps.get("com.apple.TextEdit")
            await mu.emit(await app.ui.ax.observe())
            await mu.emit(await app.windows.list())

asyncio.run(demo())

논문에서 강조된 결과

• OSWorld‐v2에서 OpenGCUA는 8개 모델 모두의 평균 부분 점수를 45.3 → 64.9(+19.6점)로 높이고 작업당 평균 단계 수를 53% 줄입니다.
• 코드 실행은 GUI+CLI 기준선에 비해 6.1점의 점수 향상과 14.8% 의 단계 감소를 추가합니다.
• 4가지 macOS 작업에 대한 실기기 테스트에서 GPT‐6 Astra는 Qwen 3.8‐Max보다 훨씬 적은 추론 토큰으로 4/4 작업을 완료했습니다.

로드맵 (2026년 10월 미리보기 기준)

• 코드 실행, 관찰, 작업 추적을 결합하는 방법을 학습하는 전용 GCUA 모델 출시.
• 실행 효율성 최적화(더 짧은 추론, 더 스마트한 하네스 결정).
• macOS, 브라우저, 휴대폰을 포괄하는 완전한 실기기 벤치마크 공개.
• 신뢰성, 오류 복구, 다중 장치 연속성 개선.

커뮤니티 및 기여

• 하네스 또는 SDK 개선에 기여하고, 새 플랫폼 어댑터를 추가하거나, 평가 환경 구축을 도와주세요.
• 연구 질문으로 이슈를 열고, 풀 리퀘스트를 제출하거나, WeChat/Discord 그룹(README에 링크)에 참여하세요.

라이선스

• Apache 2.0 (LICENSE 참조).

인용

@misc{opengcua2026,
  title = {{OpenGCUA}: Toward a Fully Open Stack for Generalist Computer Use},
  author = {Hanzhang Zhou and Long Li and Quyu Kong and Lei Wang and Panrong Tong and Long Chen and Tianyu Xia and Gongjie Zhang and Xu Zhang and Chen Liu and Jianan Zhang and Chenglin Cai and Zhengwen Zeng and Steven Hoi and Yue Wang},
  year = {2026},
  eprint = {2610.22200},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  url = {https://arxiv.org/abs/2610.22200}
}

---

OpenGCUA는 범용 컴퓨터 사용 에이전트를 연구 커뮤니티를 위해 투명하고 재현 가능하며 확장 가능하게 만드는 것을 목표로 하는 진정한 오픈소스 노력입니다.