HKUDS/PhoneCLI

解決する課題

PhoneCLIは、スクリーンショットと視覚言語モデル (VLM) の呼び出しを継続的に繰り返す従来のGUIエージェントの非効率性、コスト、および脆弱性に対処します。反復的なナビゲーションを推論の問題ではなく決定論的なプロセスとして扱うことで、レイテンシを削減（秒単位からサブ秒単位へ）し、APIコストを下げ、モバイルデバイスでのタスク成功率を向上させます。

仕組み

PhoneCLIは、モバイルタスクを処理するために3層の実行戦略を使用します：

1. オフラインコンパイル (Offline Compilation)：BFSクローラーがアプリのインターフェースを探索し、画面、インタラクティブ要素、ナビゲーションパスを記録した「アプリマップ」(YAMLファイル) を作成します。これにより、複雑なGUIナビゲーションが呼び出し可能な決定論的コマンドのセットに変換されます。
2. オンライン実行 (Online Execution)：タスクが要求されると、システムはまずコンパイルされたCLIコマンドを使用してナビゲーションを試み、モデルコストをゼロにします。コマンドが失敗した場合やタスクが未知のものである場合は、オンデバイスモデルにフォールバックし、最終的にクラウドベースのVLMを使用します。
3. オンデバイス最適化 (On-Device Optimization)：モバイルハードウェアの制約 (GPU/NPUメモリ) に適合するように設計された専用の3Bパラメータモデル (OpenPhone) を利用し、推論と検証をローカルで処理することで、プライバシーと速度を確保します。

対象ユーザー

高価なクラウドAPIに完全に依存することなく、AndroidおよびiOSデバイス上で信頼性が高く効率的に動作する必要があるモバイルAIエージェントを構築する開発者や研究者向けに設計されています。

ハイライト

• ハイブリッド実行 (Hybrid Execution)：決定論的なCLIスタイルのリプレイとVLM推論を組み合わせることで、クラウド呼び出しを削減し、成功率を向上させます。
• アプリマッピング (App Mapping)：アプリのナビゲーショングラフを事前計算し、ルーチンタスクのサブ秒実行を可能にします。
• オンデバイスファースト (On-Device First)：ローカル実行 (CLI $\rightarrow$ Device Model $\rightarrow$ Cloud) を優先し、レイテンシを最小限に抑え、プライバシーを最大化します。
• OpenPhone-3B：SFTおよびRL (GRPO) を通じてGUIタスク向けに最適化された、オープンウェイトの3Bモデルが含まれています。
• クロスプラットフォーム (Cross-Platform)：iOS (WebDriverAgent経由) とAndroid (ADB/AndroidLab経由) の両方をサポートしています。