askui/python-sdk

Enable AI to control your desktop, mobile and HMI devices

What it solves

기존의 UI 자동화는 레이아웃이 변경되거나 라벨이 업데이트될 때마다 깨지는 취약한 selector (XPath 또는 CSS)에 의존하기 때문에 종종 매우 취약합니다. AskUI는 이를 비전 기반 접근 방식으로 대체하여, AI agent가 코드 구조가 아닌 인터페이스의 외관과 내용에 기반하여 상호작용할 수 있도록 합니다.

How it works

이 SDK는 비전 기반 자동화와 AI 기반 agent를 결합합니다. 사용자는 텍스트, 이미지 또는 자연어 설명을 사용하여 UI 요소를 찾을 수 있습니다. 두 가지 주요 모드: 단일 단계 UI 명령 (single-step UI commands) 및 AI가 목표 달성을 위해 필요한 단계를 결정하는 agentic intent-based instructions 모드를 지원합니다. 이 프레임워크는 model-agnostic이며, Anthropic Claude, Google Gemini 및 Model Context Protocol (MCP)를 통한 커스텀 모델을 지원합니다.

Who it’s for

이 도구는 RPA (Robotic Process Automation) 워ف워크를 구축하는 개발자 및 테스터, Windows, MacOS, Linux 전반의 데스크톱 애플리케이션을 자동화하거나, Android 및 iOS의 모바일 애플리케이션을 테스트하는 사람들을 위해 설계되었습니다.

Highlights

  • Multi-platform support: Works across desktop (Windows, Linux, MacOS) and mobile (Android).
  • Model flexibility: Compatible with various LLMs including Claude and Gemini, or custom-integrated models.
  • Vision-first interaction: Locates elements via visual appearance and natural language instead of selectors.
  • Extensible capabilities: Supports adding custom tools and capabilities to agents.
  • Cost optimization: Includes caching to reduce expensive AI API calls.