TheDesignFounder/DreamLayer-Eval

解决的问题

DreamLayer Eval 为图像和视频扩散模型的基准测试与比较提供了一种结构化的方法。它消除了手动追踪提示词、种子、配置的繁琐工作，通过自动化生成过程并在可复现的记录环境中计算质量指标，显著提升效率。

工作原理

该平台作为本地工作台运行，前端采用 React，后端基于 Flask 服务。它与 ComfyUI 集成以处理图像工作流，并支持本地开源检查点（通过 .safetensors/.ckpt 文件）以及闭源 API 模型（如 DALL·E、Flux 和 Ideogram）。所有生成元数据（包括种子、采样器、模型哈希）和计算出的指标均存储在 SQLite 数据库中，允许用户重播特定运行或并排比较不同运行结果。

适用人群

• AI 研究人员和机器学习工程师：评估图像和视频生成模型的质量。
• 实验室和团队：构建内部基准测试流水线。
• 开源模型创作者：测试新检查点或 LoRA。
• 开发者：需要将自定义评估指标集成到工作流中。

核心亮点

• 自动化基准测试：在多个提示词、种子和采样器之间进行扫描，大幅减少手动测试时间。
• 全面的指标支持：内置支持 CLIPScore、FID、LAION 美学评分，以及基于 YOLOv8 的图像构图分析；视频方面支持 FVD、SSIM、PSNR 和时间一致性指标。
• 可复现性：每次运行均持久化至 SQLite，确保可通过 run_id 重放任意结果。
• 灵活的模型支持：兼容本地 GPU 环境（CUDA、MPS、CPU）和外部 API。
• 研究友好型导出：支持将结果导出为 CSV 或 ZIP 报告包，便于用于论文或排行榜。