TheDesignFounder/DreamLayer

Benchmark diffusion models faster. Automate evals, seeds, and metrics for reproducible results.

What it solves

DreamLayer AI 提供一个结构化的环境，用于基准测试和评估图像与视频 diffusion 模型。它消除手动追踪不同模型的提示词、种子和配置的繁琐工作，将输出生成和质量指标计算自动化，以确保可复现且一致的比较。

How it works

平台由 React 前端和基于 Flask 的后端服务组成，集成 ComfyUI 以支持本地图像工作流，并通过各种外部 API（如 OpenAI、Flux、Ideogram）使用闭源模型。它使用 SQLite 数据库记录每次运行的元数据——包括提示词、种子、采样器和模型哈希——并将计算出的指标存入专用表格。指标可以在生成过程中实时计算，或通过 API 调用按需计算。

Who it’s for

  • AI 研究者和机器学习工程师：需要比较 diffusion 模型并评估生成质量。
  • 实验室和团队：构建内部生成式 AI 基准流水线。
  • 开源模型创作者：测试 checkpoint、LoRA 和工作流。
  • 开发者：希望将自定义评估指标集成到工作流中。

Highlights

  • 自动化基准测试：在多个提示词、种子和采样器之间执行扫荡，减少手动评估时间。
  • 综合指标：内置图像指标（CLIPScore、FID、LAION 美学、YOLOv8 构图）和视频指标（FVD、SSIM、PSNR、LPIPS、时间闪烁、运动平滑度）。
  • 可复现性：所有运行均持久化到 SQLite，可通过 ID 重放任意特定运行。
  • 灵活的模型支持：支持本地开源 checkpoint（.safetensors、.ckpt）和闭源 API。
  • 研究者友好导出：支持将结果导出为 CSV 或 ZIP 报告包，用于论文附录或排行榜提交。