yliust/Tactile

何を解決するか

Tactileは、スクリーンショットとピクセル座標に依存するだけの「コンピュータ操作」エージェントの脆さと非効率性に対処します。視覚情報ではなくアクセシビリティの意味論を優先することで、継続的なスクリーンショットの推論や座標の再試行の必要性を減らし、エージェントによるソフトウェアとのインタラクションをより信頼性が高く正確なものにします。

動作方法

Tactileは、UIとやり取りするための段階的な運用戦略（「運用ラダー」）を実装しています。

1. アクセシビリティの意味論: エージェントはまずアクセシビリティツリーを読み取り、要素の役割、名前、状態、階層を識別して操作を実行します。
2. OCRに基づく座標: 意味論が不足している場合、エージェントはシステムのOCRを使って表示テキストとその正確な座標を検出し、テキストベースのフォールバックとして利用します。
3. ネイティブな視覚利用: 最後の手段として、エージェントは自前の視覚推論とスクリーンショットに基づく座標予測に頼ります。

このプロセスは検証にも適用され、エージェントはタスクの成功を確認するために、まずアクセシビリティ状態をチェックし、次にOCRによるテキストの変更を確認し、最後に視覚的なスクリーンショットを確認します。

対象ユーザー

デスクトップソフトウェアを操作できるAIエージェントを開発している開発者、およびソフトウェアのアクセシビリティを人間とAIの両方に向上させたいと考えている人々。

特徴

• アクセシビリティ最優先アプローチ: 既存のOSアクセシビリティAPIを活用し、エージェントにソフトウェア構造に対する「触覚」を提供します。
• 多層的フォールバック: 意味論データからOCR、最終的には原始的な視覚に至る構造的なパスを提供します。
• MCPサポート: macOS Model Context Protocol (MCP) サーバーを専用で提供し、より高速で簡単な統合を可能にします。
• アクセシビリティ推進: ソフトウェア開発者がアクセシビリティメタデータを改善することを促し、AIエージェントと障がいを持つ人間ユーザーの両方に利益をもたらします。