Deltix: AI-Driven Mobile App UX Testing

Deltixは、開発者が自然な英語で望ましいユーザーアクションを記述することで、モバイルアプリのフローをテストできるAI駆動のUXテストプラットフォームです。このツールはAIエージェントを使用して、ローカルのシミュレータ上でモバイルアプリを autonomously navigate（自律的に操作）し、実際のユーザーが特定のタスクを正常に完了できるかどうかを判断します。

Local-First Privacy and Architecture

Deltixは、iOS SimulatorにアタッチするローカルのMac Agentを使用して動作します。このアーキテクチャにより、アプリケーションのソースコード、ビルド、および署名アイデンティティが開発者のローカルマシンに留まり、独自のコードへの外部アクセスを防ぐことができます。

エージェントは画面を観察し、ユーザーと同じようにアプリと対話します。スクリーンショットと実行記録は、確認とリプレイのためにユーザーのアカウントに保存されますが、ユーザーは推論トラフィックを独自のモデルキー経由でルーティングするオプションを選択でき、データとコストをさらに制御できます。

Core Testing Capabilities

Deltixは、モバイルアプリテスト用に3つの主要なインタラクションモードを提供します：

Ad-hoc Testing

開発者は「sign up and send your first message（サインアップして最初のメッセージを送信する）」といったタスクを記述し、エージェントがそれを完了しようとする様子を観察できます。これにより、予定されたユーザーリサーチセッションを必要とせずに、新しいフローを迅速に検証できます。エージェントが失敗した場合、どこで詰まったかのスクリーンショットを提供します。

Playbooks

成功した実行は「Playbooks」として保存できます。これらは成功したタスクの決定論的なリプレイであり、ダッシュボードからトリガーして、新しいビルドがデグレ（既存機能の破壊）を引き起こさないことを確認できます。

Experimentation

Experimentモードでは、開発者がアプリの2つの異なるビルドを並べて比較できます。両方のビルドに対して同じタスクを実行することで、チームは本番環境でのA/Bテストに進む前に、どちらのデザインがユーザーのタスク完了により効果的かを判断できます。

Development Roadmap

Deltixは現在、Mac上のiOSシミュレータ向けにオープンベータ版として提供されています。今後のリリースに向けて、以下の機能が計画されています：

Physical Devices: Macに接続された実機のiPhoneでタスクを実行するためのサポート。
Android Support: Androidエミュレータで動作するようにエージェントを拡張。
Android Emulator: Androidエミュレータのサポート。
CI/CD Integration: GitHub Actions、GitLab、またはCircleCIを介してPlaybooksをリプレイするためのCLI。
Hybrid App Support: React NativeおよびFlutterアプリケーションのネイティブな扱い。

Community Perspectives on AI Testing

開発者の間での議論は、QAのための自律的なAIエージェントへの成長するトレンドを示唆しています。一部のユーザーは、Claudeの最新リリースや、AIエージェントにテスト用電話への直接的なADBアクセス権を与えることなど、既存のLLMの機能を使用して、同様のワークフローを寄せ集めて構築できると指摘しています。

ある開発者は、Claude DesktopとMCPサーバーを使用してAzure DevOpsのユーザーストーリーをPlaywrightと統合する高度に自動化されたワークフローを共有しました。完全な自動化のための技術的な能力は存在するものの、人数ベースの請求に基づくアウトソーシング契約などの組織的な障壁が、これらのツールの完全な実装を妨げることがよくあると述べています。