Deltix: AI-Driven Mobile App UX Testing

Deltix 是一個 AI 驅動的 UX 測試平台，開發者可以透過用簡單的英文描述所需的用戶操作來測試行動應用程式的流程。該工具使用 AI agent 來自主地在本地模擬器上導航行動應用程式，以判斷真實用戶是否能成功完成特定任務。

Local-First Privacy and Architecture

Deltix 使用連接到 iOS Simulator 的本地 Mac Agent 來運作。這種架構確保了應用程式原始碼、構建版本（builds）以及簽名身分（signing identities）都保留在開發者的本地機器上，防止外部存取專有代碼。

Agent 會觀察螢幕並像用戶一樣與應用程式互動。雖然截圖和執行紀錄會儲存在用戶帳戶中以便進行審查和回放，但用戶可以選擇透過自己的模型金鑰來路由推理流量，以進一步控制數據和成本。

Core Testing Capabilities

Deltix 為行動應用程式測試提供三種主要的互動模式：

Ad-hoc Testing

開發者可以編寫一個任務——例如「註冊並發送你的第一條訊息」——並觀察 agent 嘗試完成它。這可以讓開發者在不需要安排用戶研究會議的情況下，快速驗證新流程。如果 agent 失敗了，它會提供卡住位置的截圖。

Playbooks

成功的執行可以儲存為「Playbooks」。這些是成功任務的確定性回放，可以從儀表板觸發，以確保新構建版本不會引入回歸（regression，即破壞現有功能）。

Experimentation

Experiment 模式允許開發者並排比較應用程式的兩個不同構建版本。透過對兩個版本進行相同的任務，團隊可以在進入生產環境的 A/B 測試之前，判斷哪種設計對於用戶完成任務更有效。

Development Roadmap

Deltix 目前在 Mac 上的 iOS simulators 開放 beta 測試。以下功能計劃於未來版本中推出：

• Physical Devices: Support for running tasks on real iPhones attached to a Mac.
• Android Support: Expansion of the agent to work with Android emulators.
• Android Emulator: Support for Android emulators.
• CI/CD Integration: A CLI for replaying Playbooks via GitHub Actions, GitLab, or CircleCI.
• Hybrid App Support: Native treatment for React Native and Flutter applications.

Community Perspectives on AI Testing

開發者之間的討論顯示，QA 領域正呈現出向自主 AI agent 的成長趨勢。一些用戶指出，可以使用現有的 LLM 能力來拼湊出類似的工作流，例如使用 Claude 的最新版本，或給予 AI agent 直接的 ADB 存取權限來測試手機。

一位開發者分享了一個使用 Claude Desktop 和 MCP servers 來整合 Azure DevOps user stories 與 Playwright 的高度自動化工作流，並指出雖然技術上具備完全自動化的能力，但組織障礙——例如基於按人頭計費的外包合約——往往會阻礙這些工具的全面實施。