takahirom/arbigent

AI Agent for testing Android, iOS, and Web apps. Get Started in 5 Minutes. Arbigent's intuitive UI and powerful code interface make it accessible to everyone, while its scenario breakdown feature ensures scalability for even the most complex tasks.

Arbigentとは?

Arbigent(Arbiter‑Agentの略)は、ユーザーインターフェースと対話するAI駆動エージェントをテストするためのオープンソースフレームワークです。高レベルな自然言語の目標(例:「ログインして動画を検索する」)を記述し、それを実機またはエミュレータ(iOS、Android、Web、TV)上で実行します。このフレームワークは、複雑な目標をより小さな依存関係のあるシナリオに分割し、AIのアクションを調整し、画像ベースのアサーションで結果をチェックします。

なぜ重要なのか

従来のUIテストは壊れやすく、わずかなレイアウト変更でスクリプトが失敗することがあります。LLMはUIを理解できるため、Arbigentのテストはより回復力があります。AIは軽微なUI変更に適応できるため、メンテナンスの負担が軽減されます。また、プログラミング不要のビジュアルUIと、自動化パイプライン向けのコードファーストなインターフェースにより、AIエージェントテストを通常のQAワークフローに組み込むことができます。

主な機能(READMEより)

カテゴリ ハイライト
タスク分解 シナリオは相互に依存可能(例:login → search)。フレームワークがフローを調整します。
ハイブリッドワークフロー シナリオ作成用のUIと、プログラム実行用のYAMLファイル(arbigent run …)。
クロスプラットフォーム iOS、Android、Web、TV(D‑padナビゲーションを含む)をサポート。
AI最適化 UIツリーフィルタリング、注釈付きスクリーンショット、アクセシビリティラベルに埋め込まれたオプションのAIヒントにより、モデルの理解を向上。
コスト効率の高いモデル デフォルトは gpt‑4.1 ですが、gpt‑4o‑mini のような安価なモデルでも動作します。
信頼性支援 AI駆動の画像アサーション(Roborazzi経由)、スタック画面検出、リトライ、フォールバックキャッシュ付きリプレイ。
拡張性 カスタムフック、外部ツール用の Model Context Protocol (MCP) サーバー、再利用可能なシナリオライブラリ(GitHub Actionsに類似)。
Maestro YAML統合 既存のMaestroテストフローを初期化ステップとして実行し、AIが引き継ぐ前に決定論的なアプリ状態を設定可能。
オープンソース 無料で使用、変更、配布が可能。コミュニティの貢献を歓迎します。

誰が使うのか?

  • QAエンジニア:コードを書かずにポイント&クリックのUIでテストを定義したい方。
  • 開発者:CLIやYAML設定を通じて、AIエージェントテストをCIパイプラインに組み込みたい方。
  • プロダクトチーム:従来のスクリプトでは不安定になりがちな、複雑で動的なフロー(オンボーディング、動画再生など)をテストする必要があるチーム。
  • 企業:すでにMaestroなどのUI自動化ツールを使用しており、既存の資産を捨てずにAIレイヤーを追加したい企業。

始め方(READMEより)

  1. GitHubのリリースページからUIバイナリをダウンロードします。
  2. デバイスを接続(実機またはエミュレータ)し、アプリにAIプロバイダーのAPIキーを入力します。
  3. UI上で自然言語の目標を入力してシナリオを作成します。
  4. (オプション)既存のMaestro YAMLやAndroid Studio Journeysファイルをインポートしてアプリの状態を設定します。
  5. UIまたはCLIからシナリオを実行します。例:
    arbigent run --project-file=project.yaml --scenario-ids=login-search
    

作者が指摘する制限事項

  • 速度 – LLMのレイテンシとリアルタイムのUIインタラクション(1ステップあたり約1〜2秒)に制限されます。並列実行(--shard)や結果キャッシュで緩和可能です。
  • コスト – 各AIステップでAPI料金が発生します(例:GPT‑4oで1ステップあたり0.005ドル)。
  • 信頼性 – デバイスの安定性に依存します。エミュレータの不安定さが失敗の原因となることがあります。
  • プロンプトエンジニアリング – 複雑なアプリでは必要になる場合がありますが、モデルが時間とともに改善されることを目指しています。

上記の情報はすべてリポジトリのREADMEから直接引用したものであり、追加の機能は推測していません。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト