TheDesignFounder/DreamLayer-Eval

해결하는 문제

DreamLayer Eval은 이미지 및 동영상 확산 모델을 벤치마킹하고 비교할 수 있는 체계적인 방법을 제공합니다. 프롬프트, 시드, 설정을 수동으로 추적하는 번거로움을 제거하고, 재현 가능한 로깅 환경에서 생성 프로세스를 자동화하며 품질 메트릭을 계산합니다.

작동 방식

이 플랫폼은 React 프론트엔드와 Flask 기반 백엔드 서비스를 갖춘 로컬 워크벤치로 작동합니다. 이미지 워크플로우에 ComfyUI와 통합되며, 로컬 오픈소스 체크포인트(.safetensors/.ckpt 파일을 통해) 및 폐쇄형 API 모델(DALL·E, Flux, Ideogram 등)을 모두 지원합니다. 생성된 메타데이터(시드, 샘플러, 모델 해시 등)와 계산된 메트릭은 모두 SQLite 데이터베이스에 저장되어, 사용자가 특정 실행을 재실행하거나 다른 실행을 측면 비교할 수 있습니다.

대상 사용자

• AI 연구자 및 ML 엔지니어: 이미지 및 동영상 생성 모델의 품질을 평가하기 위해.
• 연구실 및 팀: 내부 벤치마킹 파이프라인을 구축하기 위해.
• 오픈소스 모델 제작자: 새로운 체크포인트나 LoRA를 테스트하기 위해.
• 개발자: 워크플로우에 맞춤형 평가 메트릭을 통합해야 할 경우.

주요 기능

• 자동 벤치마킹: 여러 프롬프트, 시드, 샘플러에 걸쳐 스위프트를 수행하여 수동 테스트 시간을 줄입니다.
• 포괄적인 메트릭: 이미지용으로 CLIPScore, FID, LAION 미적 점수, YOLOv8 기반 구성 분석을 포함하고, 동영상용으로는 FVD, SSIM, PSNR, 시간적 일관성 메트릭을 내장 지원합니다.
• 재현성: 모든 실행이 SQLite에 지속 저장되어 run_id를 사용해 어떤 결과든 재실행 가능합니다.
• 유연한 모델 지원: 로컬 GPU 환경(CUDA, MPS, CPU)과 외부 API 모두 지원합니다.
• 연구자 친화적 내보내기: 결과를 CSV 또는 ZIP 리포트 번들로 내보내어 논문이나 랭킹 테이블에 활용할 수 있습니다.