unslothai/unsloth-zoo

해결하는 문제

Unsloth Zoo는 대규모 언어 모델(LLM)의 미세 조정을 훨씬 더 빠르고 메모리 효율적으로 만들기 위한 유틸리티와 최적화된 커널 세트를 제공합니다. 이는 현대적인 Transformer 스타일 모델을 미세 조정할 때 일반적으로 발생하는 높은 VRAM 요구 사항과 느린 학습 속도 문제를 해결합니다.

작동 방식

이 프로젝트는 OpenAI의 Triton 언어로 작성된 사용자 지정 커널과 수동 역전파 엔진을 사용하여 학습 프로세스를 최적화합니다. 이를 통해 정확도 손실 없이 더 빠른 학습(최대 2.2배)과 VRAM 사용량의 대폭적인 감소(최대 80% 절감)가 가능합니다. 전체 미세 조정, 4-bit, 8-bit, 16-bit 학습을 포함한 다양한 학습 모드를 지원하며, 2018년 이후의 NVIDIA GPU와 호환됩니다.

대상 사용자

거대한 GPU 클러스터 없이도 자신의 하드웨어나 무료 노트북(Colab 등)에서 LLM(Llama, Mistral, Qwen, Gemma 등)을 미세 조정하려는 개발자와 AI 연구원을 위해 설계되었습니다.

주요 특징

• 극강의 효율성: VRAM 사용량을 50-80% 줄이고 학습 속도를 1.5배에서 2.2배까지 향상시킵니다.
• 광범위한 모델 지원: 텍스트 LLM, 멀티모달 비전 모델, 텍스트 음성 변환(TTS) 모델을 포함한 모든 Transformer 스타일 모델과 호환됩니다.
• 정확도 손실 제로: 근사치 계산 방식이 아닌 정확한 계산을 사용합니다.
• 유연한 내보내기: 미세 조정된 모델을 GGUF, Ollama, vLLM 또는 Hugging Face로 내보내는 기능을 지원합니다.