Deltix: AI-Driven Mobile App UX Testing

Deltix는 개발자가 원하는 사용자 동작을 일반 영어로 설명함으로써 모바일 앱 플로우를 테스트할 수 있게 해주는 AI 기반 UX 테스트 플랫폼입니다. 이 도구는 AI 에이전트를 사용하여 로컬 시뮬레이터에서 모바일 앱을 자율적으로 탐색하며, 실제 사용자가 특정 작업을 성공적으로 완료할 수 있는지 판단합니다.

Local-First Privacy and Architecture

Deltix는 iOS Simulator에 연결되는 로컬 Mac Agent를 사용하여 작동합니다. 이러한 아키텍처는 애플리케이션 소스 코드, 빌드 및 서명 ID가 개발자의 로컬 머신에 유지되도록 보장하여 독점 코드에 대한 외부 액세스를 방지합니다.

에이전트는 화면을 관찰하고 사용자가 하는 것처럼 앱과 상호작용합니다. 스크린샷과 실행 기록은 검토 및 재생을 위해 사용자의 계정에 저장되지만, 사용자는 데이터와 비용에 대한 추가적인 제어권을 유지하기 위해 자신의 모델 키를 통해 추론 트래픽을 라우팅할 수 있는 옵션이 있습니다.

Core Testing Capabilities

Deltix는 모바일 앱 테스트를 위한 세 가지 주요 상호작용 모드를 제공합니다:

Ad-hoc Testing

개발자는 "sign up and send your first message"와 같은 작업을 작성하고 에이전트가 이를 완료하려고 시도하는 과정을 지켜볼 수 있습니다. 이를 통해 예정된 사용자 조사 세션 없이도 새로운 플로우를 신속하게 검증할 수 있습니다. 에이전트가 실패할 경우, 어디에서 막혔는지 보여주는 스크린샷을 제공합니다.

Playbooks

성공적인 실행은 "Playbooks"로 저장될 수 있습니다. 이는 성공적인 작업의 결정론적 재생(deterministic replays)이며, 대시보드에서 트리거하여 새로운 빌드가 기존 기능의 회귀(regression)를 유발하지 않는지(기존 기능을 망가뜨리지 않는지) 확인할 수 있습니다.

Experimentation

Experiment 모드는 개발자가 앱의 두 가지 서로 다른 빌드를 나란히 비교할 수 있게 해줍니다. 두 빌드 모두에 대해 동일한 작업을 실행함으로써, 팀은 프로덕션에서의 A/B 테스트로 넘어가기 전에 어떤 디자인이 사용자 완료에 더 효과적인지 결정할 수 있습니다.

Development Roadmap

Deltix는 현재 Mac용 iOS simulators에 대해 오픈 베타 단계에 있습니다. 향후 출시될 기능은 다음과 같습니다:

• Physical Devices: Mac에 연결된 실제 iPhone에 작업을 실행하는 기능 지원.
• Android Support: Android emulator와 함께 작동하도록 에이전트를 확장.
• Android Emulator: Android emulator 지원.
• CI/CD Integration: GitHub Actions, GitLab 또는 CircleCI를 통해 Playbooks를 재생하는 CLI.
• Hybrid App Support: React Native 및 Flutter 애플리케이션에 대한 네이티브 처리 지원.

Community Perspectives on AI Testing

개발자들 사이의 논의에 따르면 QA를 위한 자율형 AI 에이전트에 대한 추세가 증가하고 있음을 시사합니다. 일부 사용자는 Claude의 최신 릴리스나 AI 에이전트에게 테스트용 폰에 대한 직접적인 ADB access를 제공하는 것과 같이 기존 LLM 기능을 사용하여 유사한 워크플로우를 짜 맞출 수 있다고 언급했습니다.

한 개발자는 Claude Desktop과 MCP 서버를 사용하여 Azure DevOps user stories를 Playwright와 통합하는 고도로 자동화된 워크플로우를 공유했습니다. 그는 완전한 자동화를 위한 기술적 능력은 존재하지만, 인당 청구 방식에 기반한 아웃소싱 계약과 같은 조직적 장애물로 인해 이러한 도구의 완전한 구현이 종종 방금금되는 경우가 많다고 언급했습니다.