physiclaw/PhysiClaw

何を解決するか

PhysiClawは、アプリのAPI、OAuth、ソフトウェアベースの自動化ツールを必要とせずに、日常的なスマホの用件——たとえば食事の注文、食料品の買い物、請求書の支払いなど——を処理するように設計されています。ソフトウェアシミュレーションではなく、物理的にスマホとやり取りすることで、ボット検出システムを回避します。

動作方法

このシステムはカメラでスマホの画面を監視し、ロボットスタイラスでタップやジェスチャーを実行します。AIエージェントとして動作し、WhatsAppを通じてあなたとコミュニケーションできます。あなたが自然言語でリクエストを送信すると、エージェントが起動し、スマホをロック解除してタスクを実行し、結果を通知します。

対象ユーザー

公開APIがなく、または厳格なボット防止措置があるモバイルアプリでタスクを自動化したいユーザー、および必要なハードウェア（ロボットアーム、スタイラス、カメラ）とiPhoneを持っているユーザーです。

特徴

• 物理的インタラクション：カメラとスタイラスを使って人間の指のタッチを模倣し、スマホにとっては本物のユーザーと区別がつかない状態を実現します。
• APIなしの自動化：ADBケーブルやソフトウェアのインストールなしで、スマホ上の任意のアプリと連携可能です。
• 自然言語インターフェース：WhatsAppのメッセージで制御できます。
• オープンソース：エージェントソフトウェアとCAD-as-code形式のハードウェア設計は、MITライセンスの下で公開されています。