TurixAI/TuriX-CUA

해결하는 문제

TuriX는 AI 모델이 컴퓨터의 데스크톱 인터페이스와 직접 상호 작용할 수 있는 방법을 제공합니다. AI 에이전트가 웹 브라우저, 오피스 제품군, 사내 도구와 같이 사람이 사용할 수 있는 모든 소프트웨어에서 작업(클릭 및 타이핑 등)을 수행할 수 있도록 하여 앱 전용 API의 필요성을 제거합니다.

작동 방식

이 시스템은 Vision Language Model (VLM)을 "두뇌"로 사용하여 화면을 인식하고 작업을 결정합니다. 다양한 모델(Ollama를 통한 로컬 모델 포함)로 구성할 수 있으며, 서로 다른 모델이 계획, 실행 및 메모리를 처리할 수 있는 멀티 에이전트 아키텍처를 지원합니다. 또한 Model Context Protocol (MCP)와 통합되어 Claude for Desktop과 같은 다른 에이전트가 데스크톱 작업을 트리거할 수 있도록 합니다. 추가적으로, 에이전트에게 복잡한 작업에 대한 특정 지침을 제공하는 마크다운 기반의 플레이북인 "Skills"를 사용합니다.

대상

• 오픈 소스 컴퓨터 사용 에이전트를 찾는 개발자 및 연구자.
• 여러 애플리케이션에 걸친 반복적인 데스크톱 워크플로우를 자동화하려는 파워 유저.
• GUI 자동화를 위한 다양한 VLM 정책을 테스트하고자 하는 AI 엔지니어.

주요 특징

• 높은 성공률: OSWorld 벤치마크에서 64.2%, macOS 전용 벤치마크에서 80% 이상을 달성했습니다.
• API 독립성: GUI에서 작동하므로 공개 API가 없는 모든 애플리케이션에서 작동합니다.
• 모델 핫스왑: 코드 변경 없이 간단한 설정 파일을 통해 기본 AI 모델을 변경할 수 있습니다.
• 교차 플랫폼 지원: macOS, Windows 및 Linux에서 사용할 수 있습니다.
• MCP 통합: 다른 AI 에이전트와의 원활한 연결을 위해 Model Context Protocol과 호환됩니다.