TheDesignFounder/DreamLayer
Benchmark diffusion models faster. Automate evals, seeds, and metrics for reproducible results.
What it solves
DreamLayer AI は、画像および動画ディフュージョンモデルのベンチマークと評価のための構造化された環境を提供します。プロンプト、シード、設定をモデル間で手動で追跡する手間を排除し、出力生成と品質指標の計算を自動化することで、再現性が高く一貫した比較を実現します。
How it works
このプラットフォームは React フロントエンドと Flask ベースのバックエンドサービスで構成され、ローカル画像ワークフローのために ComfyUI と統合し、OpenAI、Flux、Ideogram などの外部 API（クローズドソースモデル）とも連携します。SQLite データベースを使用して、プロンプト、シード、サンプラー、モデルハッシュなど、各実行のメタデータをすべて記録し、計算された指標は専用テーブルに保存します。指標は生成中にリアルタイムで計算することも、API 呼び出しでオンデマンドに計算することも可能です。
Who it’s for
- AI 研究者・ML エンジニア：ディフュージョンモデルを比較し、生成品質を評価したい方。
- ラボやチーム：生成 AI の内部ベンチマークパイプラインを構築する組織。
- オープンソースモデル制作者：チェックポイント、LoRA、ワークフローのテストを行う方。
- 開発者：カスタム評価指標をワークフローに組み込みたい方。
Highlights
- 自動ベンチマーク：複数のプロンプト、シード、サンプラーに対してスイープを実行し、手動評価の時間を削減。
- 包括的指標：画像指標（CLIPScore、FID、LAION 美学、YOLOv8 構図）と動画指標（FVD、SSIM、PSNR、LPIPS、時間的フリッカー、モーションスムーズネス）を標準装備。
- 再現性：すべての実行が SQLite に永続化され、ID で特定の実行を再現可能。
- 柔軟なモデルサポート：ローカルのオープンソースチェックポイント（.safetensors、.ckpt）とクローズドソース API の両方に対応。
- 研究者向けエクスポート：結果を CSV または ZIP レポートバンドルとしてエクスポートでき、論文の付録やリーダーボードへの提出に利用可能。