peft: 무엇이며, 어떤 문제를 해결하고 왜 주목받고 있는가

해결하는 문제

대규모 사전 학습 모델을 파인튜닝하는 것은 그 규모가 방대하기 때문에 연산 및 저장 측면에서 비용이 너무 많이 듭니다. PEFT는 모델의 모든 파라미터를 업데이트하지 않고도 특정 작업에 맞게 모델을 조정할 수 있는 방법을 제공합니다.

작동 원리

전체 파인튜닝 대신, PEFT는 기본 모델을 고정한 채 소수의 추가 파라미터(어댑터)만 업데이트하는 방식을 구현합니다. 이를 통해 메모리와 저장 요구량이 크게 감소합니다. 또한 양자화와 결합하면 모델 데이터의 정밀도를 더욱 낮출 수 있어, 일반 소비자용 하드웨어에서도 대규모 모델을 학습할 수 있게 합니다.

대상 사용자

제한된 하드웨어 자원으로 대형 언어 모델(LLM)이나 확산 모델(예: Stable Diffusion)을 파인튜닝하고 싶거나, 여러 작업별 어댑터를 효율적으로 관리해야 하는 개발자와 연구자.

주요 특징

• 엄청난 자원 절감: GPU 메모리 사용량과 저장 공간을 감소시킵니다(예: 12B 파라미터 모델을 전체 파인튜닝이 불가능한 80GB GPU에서 학습 가능).
• 생태계 통합: Hugging Face Transformers, Diffusers, Accelerate, TRL과 원활하게 작동합니다.
• 작은 체크포인트: 학습된 어댑터 가중치만 저장하므로 체크포인트가 몇 MB에 불과하고 GB 수준이 아닙니다.
• 폭넓은 지원: LoRA, IA3, soft prompts 등 다양한 PEFT 방식을 지원합니다.

요약

Parameter-Efficient Fine-Tuning(PEFT) 라이브러리는 대규모 사전 학습 모델의 파라미터 중 극히 일부만 학습함으로써 연산 및 저장 비용을 줄이며 모델을 효율적으로 맞춤화할 수 있게 해줍니다.

제목

peft: 무엇이며, 어떤 문제를 해결하고 왜 주목받고 있는가