askui/python-sdk

Enable AI to control your desktop, mobile and HMI devices

What it solves

传统的 UI 自动化通常很脆弱，因为它依赖于脆弱的 selector (例如 XPath 或 CSS) ，当布局变化或标签更新时，这些 selector 就会失效。AskUI 以视觉为基础的方法取代了这一点，让 AI agent 可以通过其外观和内容进行交互，而不是根据其底层的代码结构。

How it works

这个 SDK 结合了基于视觉的自动化与 AI 驱动的 agent。它允许用户使用文本、图像或自然语言描述来查找 UI 元素。它支持两种主要的模式：单步 UI 命令 (single-step single-step UI commands) 与 agentic intent-based instructions，后者由 AI 决定实现目标所需的必要步骤。该框架是 model-agnostic 的，支持 Anthropic Claude、Google Gemini 以及通过 Model Context Protocol (MCP) 使用的自定义模型。

Who it’s for

它是为开发者和测试人员设计的，用于构建 RPA (Robotic Process Automation) 工作流，自动化 Windows、MacOS 和 Linux 上的桌面端应用，或在 Android 和 iOS 上的移动端应用进行测试。

Highlights

  • Multi-platform support: Works across desktop (Windows, Linux, MacOS) and mobile (Android).
  • Model flexibility: Compatible with various LLMs including Claude and Gemini, or custom-integrated models.
  • Vision-first interaction: Locates elements via visual appearance and natural language instead of selectors.
  • Extensible capabilities: Supports adding custom tools and capabilities to agents.
  • Cost optimization: Includes caching to reduce expensive AI API calls.