physiclaw/PhysiClaw

解決する課題

PhysiClawは、公開APIを提供していないモバイルアプリや、ソフトウェアベースの自動化をブロックするアンチボット検出を使用しているアプリでのタスク自動化という問題を解決します。物理的なアームとカメラを使用することで、デジタル上の制限を回避し、人間と全く同じようにあらゆるアプリと対話します。

仕組み

このシステムは、カメラでスマホの画面を監視し、スタイラスペンで物理的なタップやジェスチャーを行います。デバイスにリンクされた専用のWhatsAppアカウントにメッセージを送ることで、エージェントとやり取りします。エージェントはリクエストを読み取り、スマホのロックを解除し、必要な操作を実行し、タスクが完了したことを確認します。

対象ユーザー

ソフトウェア経由での制御が困難なモバイルアプリ上で、食事の注文、買い物、請求書の支払いなどの日常的な用事を自動化したいユーザー向けです。

ハイライト

• 物理的にスマホを操作するため、アンチボットシステムからは人間と区別がつきません。
• 対象のスマホにソフトウェアのインストール、API、OAuthは一切不要です。
• 手動で操作できるあらゆるアプリで動作します。
• エージェントソフトウェアとCAD-as-codeのハードウェア設計の両方が含まれています。
• WhatsApp経由での自然言語コマンドをサポートしています。