open-daimax/daimax-appbench

解决的问题

daimax-appbench 提供了一种自动化、标准化的方式来评估AI生成的应用程序的质量。它通过自动化整个流程——从构建和安装应用到执行端到端（E2E）功能测试并生成全面的、可共享的评分报告——消除了手动测试的需求。

工作原理

该平台接收一个应用工件（如URL、APK或.app文件），并通过多阶段流程运行它。它使用视觉语言模型执行E2E测试，模型“看到”UI并执行自然语言测试步骤，如果界面行为异常则重新规划其操作。系统在三个主要维度上对应用进行评分：成功率（构建/安装/启动）、功能完整性（E2E通过率和稳定性）以及体验（美观性、性能和大小）。所有指标均可配置，并且该框架可以通过实现简单的生成器接口扩展到支持任何AI编码代理。

适用对象

该工具专为开发人员、AI研究人员以及构建AI驱动的应用生成平台的团队设计，他们需要一种客观、可重复的方式来衡量其输出相对于标准化数据集和竞争对手代理的质量。

亮点

• 自动化E2E流程： 处理完整生命周期——构建、安装、测试和评分——无需人工干预。
• 视觉驱动测试： 使用视觉模型导航UI并验证需求，实现动态、智能的测试执行。
• 可移植报告： 为每次运行生成一个独立的HTML报告，详细说明所有维度的得分。
• 可插拔架构： 通过简单的Python接口或CLI轻松集成自定义AI代理或使用现有代理。
• 标准化数据集： 包含预定义的基准测试套件（V1和V2），具有分层测试用例，确保可重现的结果。