TuriX-CUA: 특정 API 없이도 모든 애플리케이션의 데스크톱 GUI 작업을 자동화하는 컴퓨터 사용 에이전트

해결하는 문제

TuriX는 사용자가 앱별 API 없이도 다양한 애플리케이션에서 데스크톱 작업을 자동화할 수 있게 해주는 컴퓨터 사용 에이전트입니다. 사용자는 "컴퓨터와 대화"하여 AI가 GUI 상에서 직접 비행기 예약, 정보 검색 및 문서 작성, 혹은 서로 다른 소프트웨어 간 데이터 이동과 같은 복잡한 작업을 수행하도록 할 수 있습니다.

작동 방식

이 시스템은 화면을 해석하고 행동을 계획하기 위해 Vision Language Model (VLM)을 "두뇌"로 사용합니다. config.json 파일을 통해 Turix API, Ollama, 기타 제공자를 이용해 다양한 모델을 구성할 수 있습니다. 에이전트는 특정 유형의 작업을 실행할 때 플래너가 따를 구체적인 지침을 제공하는 "Skills"(markdown 플레이북)로 확장할 수 있습니다. 또한 Model Context Protocol (MCP)을 지원하여 Claude for Desktop과 같은 다른 에이전트와 통합할 수 있습니다.

대상 사용자

개인 및 연구용으로 설계되었으며, macOS, Windows, Linux에서 반복적인 데스크톱 워크플로를 자동화하고자 하는 사용자를 대상으로 합니다.

주요 특징

• API 독립 자동화: GUI에서 작동하므로 인간이 클릭할 수 있는 모든 애플리케이션을 제어할 수 있습니다.
• 높은 성능: OSWorld 벤치마크에서 64.2% 성공률, macOS 전용 벤치마크에서 80% 이상을 달성했습니다.
• 핫스와핑 가능한 모델: 코드를 수정하지 않고도 기본 VLM 정책을 쉽게 교체할 수 있습니다.
• 확장 가능한 Skills: markdown 기반 플레이북을 사용해 에이전트의 계획 및 실행을 안내합니다.
• 크로스 플랫폼 지원: macOS, Windows, Linux에서 사용 가능합니다.

SUMMARY 특정 API 없이도 모든 애플리케이션의 데스크톱 GUI 작업을 자동화하는 오픈 소스 컴퓨터 사용 에이전트.

TITLE TuriX-CUA: 특정 API 없이도 모든 애플리케이션의 데스크톱 GUI 작업을 자동화하는 컴퓨터 사용 에이전트