TheDesignFounder/DreamLayer-Eval

何を解決するか

DreamLayer Eval は、画像および動画の拡散モデルをベンチマークおよび比較するための構造化された方法を提供します。プロンプト、シード、設定の手動管理を排除し、再現可能なログ環境で生成プロセスを自動化し、品質メトリクスを計算します。

動作方法

このプラットフォームは、React フロントエンドと Flask ベースのバックエンドサービスを備えたローカルワークベンチとして動作します。ComfyUI と統合して画像ワークフローを処理し、ローカルのオープンソースチェックポイント（.safetensors/.ckpt ファイル経由）およびクローズドソースの API モデル（DALL·E、Flux、Ideogram など）の両方をサポートします。生成メタデータ（シード、サンプラー、モデルハッシュなど）および計算されたメトリクスはすべて SQLite データベースに保存され、ユーザーは特定の実行を再実行したり、異なる実行を並べて比較したりできます。

対象ユーザー

• AI研究者およびMLエンジニア：画像および動画生成モデルの品質を評価するため。
• ラボおよびチーム：内部ベンチマークパイプラインを構築するため。
• オープンソースモデル作成者：新しいチェックポイントや LoRA をテストするため。
• 開発者：独自の評価メトリクスをワークフローに統合する必要がある場合。

主な特徴

• 自動ベンチマーク：複数のプロンプト、シード、サンプラーにわたるスイープを実行し、手動テスト時間を削減。
• 包括的なメトリクス：CLIPScore、FID、LAIONの美的スコアリング、YOLOv8ベースの構成分析（画像用）および FVD、SSIM、PSNR、時間的整合性メトリクス（動画用）を内蔵サポート。
• 再現性：すべての実行が SQLite に永続化され、run_id を使って任意の結果を再実行可能。
• 柔軟なモデル対応：GPU（CUDA、MPS、CPU）ローカル環境および外部APIに対応。
• 研究者向けエクスポート：CSV または ZIP レポートバンドルとして結果をエクスポート可能。論文やリーダーボードでの利用に最適。