Lakonik/LakonLab

해결하는 문제

LakonLab은 대규모 확산 모델을 학습하고 실험하기 위한 고성능 인프라를 제공합니다. 분산 학습 관리, 메모리 효율적인 파인튜닝, 고급 생성 흐름 모델에 대한 표준화된 평가의 복잡성을 해결합니다.

작동 방식

이 코드베이스는 PyTorch를 기반으로 구축되었으며 MMCV 구성 시스템을 활용합니다. FlowSDEScheduler와 같이 흐름 기반 모델을 위한 특수 솔버가 포함되어 있어, 확산 계수를 조정하여 다양한 샘플링 방법을 지원할 수 있습니다. LoRA 파인튜닝 중에는 교사 모델, 학생 모델, EMA 모델 간의 기본 가중치를 공유하여 메모리 사용량을 최적화하며, DDP 및 FSDP를 사용하여 여러 GPU에 걸친 분산 학습을 지원합니다.

대상 사용자

생성형 AI를 연구하는 연구원 및 개발자를 위해 설계되었으며, 최첨단 확산 모델 및 흐름 매칭 모델을 구현하고 평가하기 위한 강력하고 확장 가능한 프레임워크가 필요한 분들에게 적합합니다. 특히 AsymFlow, pi-Flow, GMFlow와 같은 학술 논문의 결과를 재현하려는 분들에게 매우 유용합니다.

주요 특징

• 고급 흐름 솔버: 소수 단계 생성 및 흐름 기반 샘플링을 위한 범용 SDE 솔버가 포함되어 있습니다.
• 메모리 효율성: LoRA 파인튜닝을 위한 가중치 공유를 구현하여 메모리 오버헤드를 줄입니다.
• 유연한 스토리지: 로컬 파일 시스템, AWS S3, HuggingFace 및 HTTP/HTTPS URL에서 데이터와 체크포인트를 로드하는 기능을 지원합니다.
• 포괄적인 평가: FID, KID, CLIP similarity, HPSv3와 같은 표준 지표를 내장 지원하며, 결과를 외부 벤치마크로 내보내는 도구를 제공합니다.
• 분산 학습: DDP, FSDP, FSDP2를 원활하게 처리하며 혼합 정밀도 및 그래디언트 누적을 지원합니다.