TheDesignFounder/DreamLayer
Benchmark diffusion models faster. Automate evals, seeds, and metrics for reproducible results.
What it solves
DreamLayer AI는 이미지 및 비디오 diffusion 모델을 벤치마킹하고 평가하기 위한 구조화된 환경을 제공합니다. 다양한 모델에서 프롬프트, 시드, 설정을 수동으로 추적하는 번거로움을 없애고, 출력 생성 및 품질 메트릭 계산을 자동화하여 재현 가능하고 일관된 비교를 보장합니다.
How it works
플랫폼은 React 프론트엔드와 Flask 기반 백엔드 서비스로 구성되며, 로컬 이미지 워크플로를 위해 ComfyUI와 통합하고 OpenAI, Flux, Ideogram 등 다양한 외부 API(폐쇄형 모델)와 연동됩니다. SQLite 데이터베이스를 사용해 각 실행의 메타데이터(프롬프트, 시드, 샘플러, 모델 해시 등)를 모두 기록하고, 계산된 메트릭은 전용 테이블에 저장합니다. 메트릭은 생성 중 실시간으로 계산하거나 API 호출을 통해 필요 시 계산할 수 있습니다.
Who it’s for
- AI 연구자 및 ML 엔지니어: diffusion 모델을 비교하고 생성 품질을 평가해야 하는 경우.
- 랩 및 팀: 생성 AI를 위한 내부 벤치마킹 파이프라인을 구축하는 조직.
- 오픈소스 모델 제작자: 체크포인트, LoRA, 워크플로를 테스트하는 경우.
- 개발자: 커스텀 평가 메트릭을 워크플로에 통합하고자 하는 경우.
Highlights
- 자동 벤치마킹: 여러 프롬프트, 시드, 샘플러에 걸쳐 스윕을 수행해 수동 평가 시간을 단축합니다.
- 포괄적인 메트릭: 이미지 메트릭(CLPScore, FID, LAION 미학, YOLOv8 구도)과 비디오 메트릭(FVD, SSIM, PSNR, LPIPS, 시간 플리커, 모션 스무스니스)을 기본 지원합니다.
- 재현성: 모든 실행이 SQLite에 영구 저장되어 ID를 통해 특정 실행을 재현할 수 있습니다.
- 유연한 모델 지원: 로컬 오픈소스 체크포인트(.safetensors, .ckpt)와 폐쇄형 API 모두와 호환됩니다.
- 연구자 친화적 내보내기: 결과를 CSV 또는 ZIP 보고서 번들로 내보낼 수 있어 논문 부록이나 리더보드 제출에 활용할 수 있습니다.