mobile-next/mobilewright

Mobilewright is a dev framework for Mobile App Testing and Automation. It allows testing iOS/Android app on real devices, emulators and simulators with a single API.

解決する課題

Mobilewrightは、iOSおよびAndroidのモバイルデバイス自動化を簡素化します。Appiumやネイティブフレームワークのような複雑で冗長なツールを置き換え、クリーンで自動待機機能を持つAPIを提供します。これにより、手動での待機や複雑なロケーター（XPathなど）の必要性が減り、信頼性の高いテストの作成や、モバイルデバイスを制御できるAIエージェントの構築が容易になります。

仕組み

mobilecliの上に構築されたMobilewrightは、実機、シミュレーター、エミュレーターと対話するための統一されたインターフェースを提供します。デバイスのアクセシビリティツリーを公開することで、座標ではなくセマンティックロール、ラベル、テキストを通じて要素を見つけることができます。ハイブリッドアプリの場合、DOMにブリッジしてWebコンテンツ用のPlaywright互換のPageオブジェクトを提供します。また、XcodeやAndroid SDKなどの環境依存関係を検証するためのdoctor CLIツールも含まれています。

対象ユーザー

  • QAエンジニアおよび開発者：モバイルテストにおいてPlaywrightのような開発者体験を求める方。
  • AIエージェント開発者：ビジョンモデルに頼らず、決定論的かつトークン効率の良い方法でエージェントがモバイル画面を認識・操作する必要がある方。
  • クロスプラットフォームチーム：iOSとAndroidの両方をターゲットにする単一のAPIを必要とするチーム。

主な特徴

  • PlaywrightにインスパイアされたAPI：getByRole、getByText、expectアサーションなど、馴染みのあるパターンを使用。
  • AI対応：決定論的なエージェント制御のために、アクセシビリティツリーへの直接アクセスを提供。
  • 自動待機：アクションは、要素が表示され、有効化され、安定するまで自動的に待機します。
  • ハイブリッドアプリサポート：標準のPlaywright APIを使用して、ネイティブビューとWebViewをシームレスに切り替え可能。
  • クロスプラットフォーム：iOSおよびAndroidデバイスとエミュレーターのための統一インターフェース。
  • ゼロコンフィグ：起動中のシミュレーターを自動的に検出。

関連

  • プロジェクト
    Core-Mate/OpenGUI

    OpenGUIは、AIエージェントがスクリーンショットを解釈し、UI操作を発行することで実際のAndroidスマートフォンを制御できるようにするフレームワークです。WorkBuddyおよびDeepSeek Harnessプラグインによる簡単なチャットベースの利用、高度なタスク計画のための完全なオプションバックエンド、タップ、スワイプ、入力などを実行する小型のAndroidクライアントを提供します。モバイルデバイスでのAI駆動テスト、自動化、コンテンツ作成に最適です。

  • プロジェクト
    microsoft/playwright

    PlaywrightはMicrosoftがメンテナンスしているオープンソースのフレームワークで、Chromium、Firefox、WebKitをJavaScript/TypeScript（およびPython、.NET、Java）から制御できます。Playwright Test（フル機能のテストランナー）、スクリプト用の低レベルライブラリ、コーディングアシスタントエージェント向けのコマンドラインツール、LLMがブラウザを決定的に制御できる構造化アクセシビリティツリーを公開するMCPサーバーを提供。Node.js、Python、.NET、Javaに対応し、すべての主要OSで動作し、VS Codeとの統合によりデバッグとトレースの視覚化が可能。

  • プロジェクト
    droidrun/mobilerun

    自然言語を使用してAndroidおよびiOSデバイスを制御できるオープンソースフレームワーク。UIの検査およびモバイル自動化のためのツールを提供します。

  • プロジェクト
    minitap-ai/mobile-use

    自然言語を使用して Android および iOS デバイスの自動化を実現するオープンソースの AI エージェント。アプリからタスクの実行やデータのスクレイピングを可能にします。

  • プロジェクト
    droidrun/mobile-harness

    Mobile Harness は、Python ベースの Markdown 駆動型ライブラリで、LLM エージェントが Android および iOS デバイスを制御できるようにします（ADB/Portal 経由でローカル、または Mobilerun クラウド経由でリモート）。UI 操作、スクリーンショット、アプリ起動、アクセシビリティツリーのクエリのための統一 API を提供し、AndroidWorld および iOSWorld タスクスイートでほぼ完璧なパフォーマンスを示すベンチマークを含みます。