LlamaFactory: 무엇인지, 어떤 문제를 해결하는지 & 왜 인기를 얻고 있는지

해결하는 문제

LLaMA Factory는 대규모 언어 모델(LLM)의 미세 조정(fine-tuning) 프로세스를 단순화하기 위해 설계된 통합 프레임워크입니다. 100개 이상의 다양한 모델을 학습시키고 배포할 수 있는 zero-code 인터페이스를 제공하여 광범위한 코딩의 필요성을 제거합니다.

작동 방식

이 프로젝트는 다양한 학습 방법, 최적화 알고리즘 및 하드웨어 가속을 통합하는 포괄적인 툴킷을 제공합니다. 사용자는 명령줄 인터페이스(CLI) 또는 Gradio 기반의 LLaMA Board라고 불리는 그래픽 사용자 인터페이스를 통해 시스템과 상호작용할 수 있습니다. 전체 파라미터 튜닝부터 LoRA 및 QLoRA와 같은 메모리 효율적인 방법까지 광범위한 미세 조정 기술을 지원하며, 더 빠른 배포를 위해 vLLM 및 SGLang과 같은 추론 백엔드와 통합됩니다.

대상 사용자

복잡한 학습 스크립트를 처음부터 작성할 필요 없이 다중 턴 대화, 도구 사용, 이미지 이해, 오디오 인식과 같은 특정 작업을 위해 LLM을 미세 조정하려는 개발자와 AI 연구자를 대상으로 합니다.

주요 특징

• 광범위한 모델 지원: LLaMA, Mistral, Qwen, DeepSeek, Gemma 및 기타 다수와 호환됩니다.
• 다양한 학습 방법: supervised fine-tuning (SFT), reward modeling, PPO, DPO, KTO, 및 ORPO를 지원합니다.
• 자원 효율성: 하드웨어 요구 사항을 줄이기 위해 16-bit full-tuning뿐만 아니라 2- to 8-bit QLoRA를 제공합니다.
• 고급 최적화 도구: GaLore, BAdam, 및 Muon과 같은 최첨단 알고리즘을 통합합니다.
• Zero-Code 인터페이스: 쉬운 설정 및 학습 관리를 위한 Web UI (LLaMA Board)를 제공합니다.
• 멀티모달 기능: 이미지, 비디오 및 오디오 이해 작업을 위한 미세 조정을 지원합니다.