TheDesignFounder/DreamLayer-Eval

解決的問題

DreamLayer Eval 為影像與影片擴散模型的基準測試與比較提供了一種結構化的方法。它消除了手動追蹤提示詞、種子、設定的繁瑣工作，透過自動化生成流程並在可重現的記錄環境中計算品質指標，大幅提升效率。

工作原理

該平台作為本地工作台運行，前端採用 React，後端基於 Flask 服務。它與 ComfyUI 集成以處理影像工作流，並支援本地開源檢查點（透過 .safetensors/.ckpt 檔案）以及封閉式 API 模型（如 DALL·E、Flux 和 Ideogram）。所有生成元資料（包括種子、取樣器、模型雜湊）與計算出的指標均儲存在 SQLite 資料庫中，允許使用者重播特定執行或並排比較不同執行結果。

適用對象

• AI 研究人員與機器學習工程師：評估影像與影片生成模型的品質。
• 實驗室與團隊：建構內部基準測試流程。
• 開源模型創作者：測試新檢查點或 LoRA。
• 開發者：需要將自訂評估指標整合至工作流程中。

核心亮點

• 自動化基準測試：在多個提示詞、種子與取樣器之間進行掃描，大幅減少手動測試時間。
• 全面的指標支援：內建支援 CLIPScore、FID、LAION 美學評分，以及基於 YOLOv8 的影像構圖分析；影片方面支援 FVD、SSIM、PSNR 與時間一致性指標。
• 可重現性：每次執行均持久化至 SQLite，確保可透過 run_id 重播任意結果。
• 靈活的模型支援：相容本地 GPU 環境（CUDA、MPS、CPU）與外部 API。
• 研究友善型匯出：支援將結果匯出為 CSV 或 ZIP 報告包，便於用於論文或排行榜。