yliust/Tactile

解决的问题

Tactile 解决了完全依赖截图和像素坐标猜测的「计算机使用」型 AI 代理所面临的脆弱性和低效性。通过优先采用可访问性语义而非原始视觉信息，减少了对持续截图推理和坐标重试的需求，使 AI 代理与软件的交互更加可靠和精确。

工作原理

Tactile 实现了一种分层的运行策略（即「运行阶梯」），AI 代理通过该策略与 UI 交互：

1. 可访问性语义：代理首先尝试读取可访问性树，以识别元素的角色、名称、状态和层级结构，从而执行操作。
2. 基于 OCR 的坐标：如果缺少语义信息，代理使用系统 OCR 查找可见文本及其精确坐标，作为基于文本的降级方案。
3. 原生视觉使用：作为最后手段，代理退回到自身的视觉推理和基于截图的坐标预测。

该流程也延伸至验证阶段，代理通过首先检查可访问性状态，然后检查 OCR 文本变化，最后检查视觉截图来确认任务成功。

适用人群

开发能够操作桌面软件的 AI 代理的开发者，以及希望提升软件可访问性（对人类和 AI 均有益）的开发者。

主要亮点

• 可访问性优先方法：利用现有的操作系统可访问性 API，为代理提供对软件结构的「触觉」感知。
• 多层降级机制：提供从语义数据到 OCR，再到原始视觉的结构化路径。
• 支持 MCP：包含专用的 macOS Model Context Protocol (MCP) 服务器，实现更快、更简单的集成。
• 可访问性倡导：鼓励软件开发者改善可访问性元数据，从而同时惠及 AI 代理和残障人士用户。