iFurySt/open-computer-use

open-computer-use란 무엇인가요?

open-computer-use(보통 ocu로 호출)는 AI 에이전트가 표준화된 MCP(Message-Based Control Protocol) 인터페이스를 통해 실제 데스크톱(macOS, Linux, Windows)을 제어할 수 있게 해주는 오픈 소스 Computer-Use 서비스입니다. OpenAI의 Codex Computer Use가 시연한 것과 동일한 유형의 "비침입형" UI 자동화를 구현하지만, 완전히 커뮤니티에 의해 유지 관리되며 Codex, Claude Code, Gemini CLI 또는 사용자 지정 에이전트와 같이 MCP와 호환되는 모든 클라이언트에 연결할 수 있습니다.

핵심 기능

기능	설명
크로스 플랫폼	macOS 14+, Linux 및 Windows에서 실행됩니다. macOS는 접근성 및 화면 기록 권한이 필요하며, 다른 OS는 추가 설정이 필요 없습니다.
MCP 서버	9개의 기본 도구(예: `list_apps`, `press_key`, `get_app_state`)와 macOS에서 대상 UI 요소를 찾기 위한 `query` 도구를 노출하는 로컬 MCP JSON-RPC 서버를 시작합니다.
JavaScript REPL / 일회성 평가	`ocu js <code>`는 샌드박스 JS 환경에서 코드 조각을 실행하여 기본 `cua` 바인딩을 호출할 수 있으며, `ocu repl`은 대화형 스크립팅을 위해 세션을 유지합니다.
스킬 패키징	인기 에이전트(Codex, Claude Code, Gemini CLI, opencode, DeepSeek Harness)를 위한 즉시 사용 가능한 스킬을 제공합니다. 스킬을 설치하면 필요한 MCP 구성이 에이전트의 구성 파일에 기록됩니다.
권한 도우미	`ocu doctor`(macOS)는 접근성, 화면 캡처 및 기타 필수 권한이 부여되었는지 보고하여 호스트의 온보딩 자동화를 돕습니다.
커서 이동	Software.Inc 팀의 공개 정보를 기반으로 마우스를 이동시키는 선택적 macOS 커서 이동 하위 시스템(오픈 소스)입니다.
자동화 스크립트	`--calls` 또는 `--calls-file`을 통한 배치 호출을 지원하여 단일 프로세스에서 일련의 UI 작업을 실행할 수 있습니다.
확장 가능한 CLI	다양한 에이전트에 설치, 기능 검사, 스트레스 테스트 실행 및 영구 설정(예: 스크린샷 형식) 구성을 위한 명령을 제공합니다.

빠른 시작 (사용자용)

# npm 패키지 전역 설치
npm i -g open-computer-use   # `open-computer-use` 및 `ocu` 명령 제공

# 첫 실행 – macOS는 접근성 및 화면 기록 권한을 요청합니다
open-computer-use   # 또는 단순히 `ocu`

AI 에이전트에 연결하기

# 예: Codex에 추가 (~/.codex/config.toml에 기록)
open-computer-use install-codex-mcp

# 또는 모든 MCP 클라이언트에 수동으로 추가
cat <<EOF > ~/.my-agent-config.json
{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}
EOF

에이전트가 MCP 엔드포인트를 알게 되면 list_apps 또는 press_key와 같은 호출을 발행하고 구조화된 JSON 결과를 받을 수 있습니다.

작동 원리

네이티브 런타임 – npm 패키지에 번들된 작은 컴파일된 바이너리가 OS의 접근성 API와 통신하여 창을 열거하고, UI 상태를 읽고, 마우스/키보드 이벤트를 합성합니다.
MCP 브리지 – 바이너리는 ocu mcp 명령에 의해 시작되며 에이전트가 소비하는 JSON-RPC 프로토콜로 통신합니다. 이를 통해 에이전트는 언어에 구애받지 않으며, MCP를 지원하는 모든 클라이언트가 서비스를 사용할 수 있습니다.
JavaScript 바인딩 – REPL에 노출된 cua 객체는 기본 도구를 미러링하여 스크립트에서 await cua.listApps() 등을 호출할 수 있게 함으로써 자동화 로직의 프로토타입을 쉽게 만들 수 있습니다.

대상 사용자

AI 기반 어시스턴트를 구축하는 개발자 (파일 열기, UI 클릭, 화면 콘텐츠 읽기 등 실제 데스크톱 조작이 필요한 경우).
대규모 언어 모델의 "컴퓨터 사용" 능력을 평가하는 연구원 (독점적인 OpenAI 서비스에 의존하지 않고 평가하려는 경우).
로컬에서 개인정보를 보호하는 대안을 찾는 파워 유저 (클라우드 호스팅 컴퓨터 사용 API의 대안으로).

문서 및 커뮤니티

데모 – Codex App, Gemini CLI 및 Linux에 대한 비디오 데모가 README에 링크되어 있습니다.
가이드 – docs/locked-use.en.md는 설정 및 권한을 설명하며, docs/targeted-query.md는 텍스트/역할별로 UI 요소를 찾는 방법을 보여줍니다.
구성 – ocu config를 사용하여 영구 설정(예: 스크린샷 이미지 형식)을 보거나 변경할 수 있습니다.
라이선스 – MIT 라이선스이므로 자유롭게 수정 및 재배포할 수 있습니다.

결론

open-computer-use는 "컴퓨터 사용" 패러다임의 실용적인 오픈 소스 구현으로, MCP 호환 AI 에이전트가 로컬에서 데스크톱을 제어할 수 있게 합니다. 즉시 사용 가능한 MCP 서버, 주요 에이전트용 스킬 패키지, 테스트 및 스크립팅을 위한 풍부한 CLI를 제공하여 AI 기반 UI 자동화를 실험하는 모든 사람에게 견고한 빌딩 블록이 됩니다.