yliust/Tactile

解決的問題

Tactile 解決了完全依賴螢幕截圖與像素座標猜測的「電腦操作」型 AI 代理所面臨的脆弱性與低效率。透過優先採用可存取性語意而非原始視覺資訊，減少對持續螢幕截圖推論與座標重試的需求，使 AI 代理與軟體的互動更加可靠且精確。

工作原理

Tactile 實現了一種分層的運行策略（即「運行階梯」），AI 代理透過該策略與 UI 互動：

1. 可存取性語意：代理首先嘗試讀取可存取性樹，以識別元素的角色、名稱、狀態與層級結構，從而執行操作。
2. 基於 OCR 的座標：若缺少語意資訊，代理使用系統 OCR 查找可見文字及其精確座標，作為基於文字的降級方案。
3. 原生視覺使用：作為最後手段，代理退回到自身的視覺推理與基於截圖的座標預測。

該流程也延伸至驗證階段，代理透過首先檢查可存取性狀態，然後檢查 OCR 文字變更，最後檢查視覺截圖來確認任務成功。

適用對象

開發能夠操作桌面軟體的 AI 代理的開發者，以及希望提升軟體可存取性（對人類與 AI 均有益）的開發者。

主要亮點

• 可存取性優先方法：利用現有的作業系統可存取性 API，為代理提供對軟體結構的「觸覺」感知。
• 多層降級機制：提供從語意資料到 OCR，再到原始視覺的結構化路徑。
• 支援 MCP：包含專用的 macOS Model Context Protocol (MCP) 伺服器，實現更快、更簡單的整合。
• 可存取性倡導：鼓勵軟體開發者改善可存取性元資料，從而同時惠及 AI 代理與身心障礙使用者。