OpenMinis/iCTRL

解決する問題

iCTRL は、iPhone を AI エージェントの制御可能な自動化エンドポイントに変えます。iOS デバイスをプログラム的に操作する難しさに対処し、エージェントが人間のユーザーのように画面、アプリ、システム設定と対話できる安定した高性能 API を提供します。

仕組み

このプロジェクトは、iPhone 上で長時間実行される XCUITest ランナーを起動し、HTTP 経由で JSON-RPC 2.0 API を公開します。AI 向けに設計されているため、デバイスは GET /skill と GET /schema を介して自身のドキュメントを提供し、エージェントは実行時に電話との対話方法を学習できます。合成タッチイベントを使用して標準の UI テスト遅延を回避し、タップ、スワイプ、画面読み取りの高速応答を実現します。

対象読者

これは、iOS 上でタスクを実行する AI エージェントを構築する開発者や研究者向けです。例えば、アプリの操作、画面コンテンツの読み取り、実際のデバイス操作を必要とするワークフローの自動化などです。

ハイライト

• 自己記述 API： エージェントは事前設定なしで機能とメソッドを動的に発見できます。
• 高性能： 速度最適化されており、タップ遅延約 280 ミリ秒、サブ秒の画面スナップショットを実現。
• 可視性の向上： オンデバイスの Vision OCR を使用して、標準のアクセシビリティツリーが見逃す可能性のあるテキストと要素を読み取ります。
• 堅牢なセキュリティ： 暗号化および認証された通信を備え、デバイス上で直接ペアリング承認が必要です。
• 柔軟な展開： SideStore（無料の Apple ID）または Xcode でインストールでき、LAN 経由のリモート操作またはローカルのみのモードをサポートします。