open-daimax/daimax-appbench

解決する問題

daimax-appbench は、AI生成アプリケーションの品質を評価するための自動化された標準化された方法を提供します。アプリのビルドとインストールからエンドツーエンド（E2E）機能テストの実行、包括的で共有可能なスコアレポートの生成まで、パイプライン全体を自動化することで、手動テストの必要性を排除します。

仕組み

プラットフォームは、アプリの成果物（URL、APK、.appファイルなど）を受け取り、マルチステージパイプラインで実行します。視覚言語モデルを使用してE2Eテストを実行し、モデルはUIを「見て」自然言語のテストステップを実行し、インターフェースが予期しない動作をした場合はアクションを再計画します。システムは、成功率（ビルド/インストール/起動）、機能の完全性（E2E合格率と安定性）、エクスペリエンス（美学、パフォーマンス、サイズ）の3つの主要な次元でアプリをスコアリングします。すべてのメトリクスは構成可能であり、フレームワークは単純なジェネレーターインターフェースを実装することで、任意のAIコーディングエージェントをサポートするように拡張できます。

対象者

このツールは、開発者、AI研究者、およびAI駆動のアプリ生成プラットフォームを構築するチーム向けに設計されており、標準化されたデータセットと競合エージェントに対して出力の品質を客観的かつ再現可能な方法で測定する必要があります。

ハイライト

• 自動化されたE2Eパイプライン： ビルド、インストール、テスト、スコアリングの完全なライフサイクルを人間の介入なしに処理します。
• ビジョンベースのテスト： 視覚モデルを使用してUIをナビゲートし、要件を検証し、動的でインテリジェントなテスト実行を可能にします。
• ポータブルレポート： 実行ごとに単一の自己完結型HTMLレポートを生成し、すべての次元のスコアを詳述します。
• プラグ可能なアーキテクチャ： 単純なPythonインターフェースまたはCLIを介して、カスタムAIエージェントを簡単に統合したり、既存のエージェントを使用したりできます。
• 標準化されたデータセット： 再現可能な結果を保証するために、階層化されたテストケースを備えた事前定義されたベンチマークスイート（V1およびV2）が含まれています。