open-daimax/daimax-appbench

해결하는 문제

daimax-appbench는 AI 생성 애플리케이션의 품질을 평가하는 자동화되고 표준화된 방법을 제공합니다. 앱 빌드 및 설치부터 엔드투엔드(E2E) 기능 테스트 수행 및 포괄적이고 공유 가능한 점수 보고서 생성까지 전체 파이프라인을 자동화하여 수동 테스트의 필요성을 제거합니다.

작동 방식

플랫폼은 앱 아티팩트(URL, APK 또는 .app 파일 등)를 가져와 다단계 파이프라인을 통해 실행합니다. 비전-언어 모델을 사용하여 E2E 테스트를 수행하며, 모델은 UI를 "보고" 자연어 테스트 단계를 실행하며, 인터페이스가 예기치 않게 동작하면 작업을 재계획합니다. 시스템은 성공률(빌드/설치/실행), 기능 완전성(E2E 통과율 및 안정성), 경험(미학, 성능 및 크기)의 세 가지 주요 차원에서 앱을 점수화합니다. 모든 메트릭은 구성 가능하며, 프레임워크는 간단한 생성기 인터페이스를 구현하여 모든 AI 코딩 에이전트를 지원하도록 확장할 수 있습니다.

대상 사용자

이 도구는 개발자, AI 연구자 및 AI 기반 앱 생성 플랫폼을 구축하는 팀을 위해 설계되었으며, 표준화된 데이터 세트 및 경쟁 에이전트와 비교하여 출력 품질을 객관적이고 반복 가능한 방식으로 측정해야 합니다.

주요 기능

• 자동화된 E2E 파이프라인: 빌드, 설치, 테스트 및 점수화의 전체 수명 주기를 사람의 개입 없이 처리합니다.
• 비전 기반 테스트: 비전 모델을 사용하여 UI를 탐색하고 요구 사항을 검증하여 동적이고 지능적인 테스트 실행을 가능하게 합니다.
• 휴대용 보고: 각 실행에 대해 단일 자체 포함 HTML 보고서를 생성하여 모든 차원의 점수를 자세히 설명합니다.
• 플러그형 아키텍처: 간단한 Python 인터페이스 또는 CLI를 통해 사용자 지정 AI 에이전트를 쉽게 통합하거나 기존 에이전트를 사용할 수 있습니다.
• 표준화된 데이터 세트: 재현 가능한 결과를 보장하기 위해 계층화된 테스트 사례가 포함된 사전 정의된 벤치마크 스위트(V1 및 V2)가 포함되어 있습니다.