tencentmusic/page-eyes-agent

何を解決するか

PageEyes Agent は、複雑なスクリプトを書く代わりに自然言語を使用してアプリケーションを制御できるようにすることで、UI自動化とテストを簡素化します。複数のプラットフォームにわたる自動化されたUI検査とテストを可能にし、自動化スイートの作成および維持に必要な手作業を削減します。

動作方法

Pydantic AIフレームワークに基づいて構築されており、自然言語の指示をUI操作に変換します。主に2つのモードで動作します：軽量モードではビジョン言語モデル（VLM）を使用し、ハイブリッドモードでは専用のビジョンモデル（OmniParserV2）で要素の認識を行い、標準の大型言語モデル（LLM）でパス計画を実行します。このアーキテクチャにより、完全なVLMを各ステップで必要とせずに、小さなLLMでも複雑なナビゲーションタスクを処理できるようになります。

対象ユーザー

クロスプラットフォームのUI自動化を実施したいQAエンジニアやテスト担当者、またワークフローにAI駆動のUI操作を統合したい開発者向けに設計されています。

特徴

• クロスプラットフォーム対応：Web、Android、iOS、HarmonyOS Next、Electronデスクトップアプリケーションに対応。
• 自然言語駆動：プレーンテキストの指示に基づいてタスクを実行し、アサーションを実施。
• 柔軟なモデル統合：DeepSeek、OpenAI、Qwenなど、さまざまなモデルをサポート。
• 詳細なレポート生成：実行ログと視覚的レポートを生成し、テスト結果の検証を支援。