TheDesignFounder/DreamLayer
Benchmark diffusion models faster. Automate evals, seeds, and metrics for reproducible results.
What it solves
DreamLayer AI 提供一個結構化的環境，用於基準測試與評估影像與影片 diffusion 模型。它消除手動追蹤不同模型的提示詞、種子與設定的繁雜工作，將產出生成與品質指標計算自動化，以確保可重現且一致的比較。
How it works
此平台由 React 前端與基於 Flask 的後端服務組成，與 ComfyUI 整合以支援本機影像工作流程，並可透過各種外部 API（如 OpenAI、Flux、Ideogram）使用封閉源模型。平台使用 SQLite 資料庫記錄每次執行的中繼資料——包括提示詞、種子、抽樣器與模型雜湊——並將計算出的指標存入專屬表格。指標可於生成過程即時計算，或透過 API 呼叫按需計算。
Who it’s for
- AI 研究者與機器學習工程師：需要比較 diffusion 模型並評估生成品質。
- 實驗室與團隊：建置內部生成式 AI 基準測試管線。
- 開源模型創作者：測試 checkpoint、LoRA 與工作流程。
- 開發者：想將自訂評估指標整合至工作流程中。
Highlights
- 自動化基準測試：在多個提示詞、種子與抽樣器間執行掃描，減少手動評估時間。
- 完整指標：內建影像指標（CLIPScore、FID、LAION 美學、YOLOv8 構圖）與影片指標（FVD、SSIM、PSNR、LPIPS、時間閃爍、運動平滑度）。
- 可重現性：所有執行皆持久化於 SQLite，可透過 ID 重新播放任意執行。
- 彈性模型支援：支援本機開源 checkpoint（.safetensors、.ckpt）與封閉源 API。
- 研究者友好匯出：支援將結果匯出為 CSV 或 ZIP 報告檔案，供論文附錄或排行榜提交使用。