askui/python-sdk

Enable AI to control your desktop, mobile and HMI devices

What it solves

傳統的 UI 自動化通常很脆弱，因為它依賴於脆弱的 selector (例如 XPath 或 CSS) ，當佈局改變或標籤更新時，這些 selector 就會失效。AskUI 以視覺為基礎的方法取代了這一點，讓 AI agent 可以根據介面的外觀和內容進行互動，而不是根據其底層的代碼結構。

How it works

這個 SDK 結合了基於視覺的自動化與 AI 驅動的 agent。它允許用戶使用文字、圖片或自然語言描述來尋找 UI 元素。它支援兩種主要的模式：單步 UI 指令 (single-step UI commands) 與 agentic intent-based instructions，後者由 AI 決定達成目標所需的必要步驟。該框架是 model-agnostic 的，支援 Anthropic Claude、Google Gemini 以及透過 Model Context Protocol (MCP) 使用的自定義模型。

Who it’s for

它是為開發者和測試人員設計的，用於構建 RPA (Robotic Process Automation) 工作流，自動化 Windows、MacOS 和 Linux 上的桌面應用程式，或在 Android 和 iOS 上測試行動應用程式。

Highlights

  • Multi-platform support: Works across desktop (Windows, Linux, MacOS) and mobile (Android).
  • Model flexibility: Compatible with various LLMs including Claude and Gemini, or custom-integrated models.
  • Vision-first interaction: Locates elements via visual appearance and natural language instead of selectors.
  • Extensible capabilities: Supports adding custom tools and capabilities to agents.
  • Cost optimization: Includes caching to reduce expensive AI API calls.