web-infra-dev/midscene

何を解決するか

Midscene.js は、従来のUI自動化の脆弱性を解消するGUIエージェントです。リファクタリング時に壊れやすいDOMセレクターやアクセシビリティツリーに頼るのではなく、AI駆動のビジュアル認識により、人間のユーザーが見たようにインターフェースと対話します。

動作方法

このプロジェクトは、Qwen、Gemini、UI-TARSなどのマルチモーダルモデルを使用して、スクリーンショットのみに基づいて要素の位置を特定します。これにより、Webブラウザ、Android、iOS、HarmonyOS、デスクトップアプリなど、スクリーンショットが取れるあらゆる環境で、自然言語の指示を使って要素にアクセスできます。

対象ユーザー

主に、複数のプラットフォームでエンドツーエンド（E2E）テストやUI自動化を実施する開発者やQAエンジニア向けに構築されています。

特徴

• ビジュアル駆動：スクリーンショットのみで動作し、<canvas>、ネイティブアプリ、クロスオリジンのiframe内の要素にも対応可能。
• クロスプラットフォーム：1つのAPIでWeb、モバイル（iOS/Android/HarmonyOS）、デスクトップアプリをサポート。
• 自然言語：複雑なセレクタを書く代わりに、英語でシンプルな手順を記述可能。
• 統合：Playwright、Puppeteer、Vitestなどの既存ツールと統合可能。