hiyouga/LlamaFactory
Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)
해결하는 문제
LlamaFactory는 100개 이상의 다양한 대규모 언어 모델(LLMs)을 미세 조정하고 배포하는 과정을 간소화합니다. 모델 학습, 평가 및 서빙을 위한 통합된 사용자 친화적 인터페이스를 제공하여 복잡한 코딩의 필요성을 제거함으로써, 머신러닝에 대한 깊은 전문 지식이 없는 사용자도 쉽게 접근할 수 있도록 합니다.
작동 방식
이 프로젝트는 표준 지도 미세 조정부터 DPO 및 PPO와 같은 고급 강화 학습 기술에 이르기까지 광범위한 학습 방법을 지원하는 모듈식 프레임워크를 제공합니다. 사용자는 제로 코드 Web UI (LLaMA Board) 또는 명령줄 인터페이스 (CLI)를 통해 시스템과 상호 작용할 수 있습니다. 인기 있는 하드웨어 가속 도구와 통합되어 있으며 다양한 모델 아키텍처를 지원하므로, 최소한의 구성으로 로컬 또는 클라우드에서 모델을 학습할 수 있습니다.
대상 사용자
도구 사용, 다중 턴 대화 또는 이미지 이해와 같은 특정 작업을 위해 대규모 언어 모델을 사용자 정의해야 하는 개발자, 연구원 및 AI 실무자를 위해 설계되었으며, 복잡한 학습 파이프라인을 처음부터 구축할 필요가 없습니다.
주요 특징
- 광범위한 모델 지원: LLaMA, Mistral, Qwen, DeepSeek 및 Gemma를 포함한 100개 이상의 모델과 호환됩니다.
- 제로 코드 인터페이스: 시각적인 모델 관리 및 학습을 위한 Gradio 기반 Web UI를 포함합니다.
- 효율적인 학습: QLoRA, FlashAttention-2 및 Unsloth와 같은 고급 메모리 절약 기술을 지원하여 소비자용 하드웨어에서도 대규모 모델을 학습할 수 있습니다.
- 배포 준비 완료: vLLM 또는 SGLang을 사용한 OpenAI 스타일의 API 배포를 기본적으로 지원하여 고속 추론을 제공합니다.
- 실험 추적: TensorBoard, Wandb 및 SwanLab과 같은 도구와 통합되어 학습 진행 상황을 실시간으로 모니터링할 수 있습니다.
관련
- 프로젝트
OptimalScale/LMFlowLMFlow는 대규모 언어 모델의 피니튜닝을 위한 확장 가능한 파이썬 도구 상자입니다. 전체 파라미터 학습, LoRA, 메모리 효율적인 LISA 알고리즘, QLoRA 양자화, 그리고 FlashAttention‑2, DeepSpeed, vLLM, SGLang 등의 성능 향상 기술을 지원합니다. 학습 후에는 간단한 챗스타일 추론 스크립트와 선택적 Gradio/Flask 배포 기능을 제공합니다. 이 라이브러리는 Linux/Colab 환경을 대상으로 하며, 멀티모달 모델, 분산 보상 모델 추론 등 추가 기능도 제공합니다.
- 프로젝트
Goekdeniz-Guelmez/mlx-lm-loraMLX-LM-LoRA는 Apple 실리콘 Mac에서 MLX 프레임워크를 사용하여 대규모 언어 모델을 미세 조정할 수 있는 Python 라이브러리입니다. LoRA/DoRA 어댑터, 전체 정밀도 및 양자화 훈련(QLoRA, QAT), 그리고 많은 선호 기반 최적화 방법(SFT, DPO, ORPO, DSLA, GRPO, RLHF, PPO 등)을 지원합니다. `pip install mlx-lm-lora`로 설치한 다음 `mlx_lm_lora.train`을 플래그 또는 YAML 구성과 함께 실행하여 Llama, Mistral, Qwen, Gemma 등의 모델을 Mac에서 로컬로 훈련할 수 있습니다.
- 프로젝트
h2oai/h2o-llmstudioH2O LLM Studio는 코드를 작성하지 않고도 어떤 Hugging Face LLM도 미세조정할 수 있는 Python 프레임워크로, 웹 기반 GUI(및 CLI)를 제공합니다. LoRA, 8비트 훈련, DeepSpeed 샤딩, 그리고 최신의 DPO/IPO/KTO 최적화 기법을 지원하며, 실시간 메트릭, 채팅 기반 테스트, Hugging Face로의 원클릭 내보내기를 제공합니다. `uv`(또는 Docker)로 설치하고, localhost:10101에서 UI를 실행한 후, 간단한 실험 생성-훈련-평가 사이클을 따라가세요.
- 프로젝트
liguodongiot/llm-action대규모 언어 모델의 훈련, 미세 조정, 서빙, 압축, 평가를 처음부터 프로덕션까지 다루는 중국어로 작성된 기사, 튜토리얼, 실행 가능한 코드의 선별된 라이브러리입니다.
- 프로젝트
opendilab/LightRFTLightRFT는 대규모 언어 및 멀티모달 생성 모델의 미세 조정을 위한 오픈 소스 분산 강화 학습 프레임워크입니다. DeepSpeed, FSDP와 같은 학습 백엔드와 SGLang, vLLM과 같은 롤아웃 엔진을 통합하고, GRPO, REINFORCE++, DAPO 등 다양한 RL 알고리즘을 지원하며, 텍스트, 이미지, 비디오, 오디오 모달리티를 모두 지원합니다. 이 라이브러리는 즉시 실행 가능한 예제(예: Qwen2.5를 사용한 GSM8K), 광범위한 문서, Docker 이미지를 제공하여 RL 기반 정렬 파이프라인을 구축하는 연구자 및 엔지니어를 위한 데일리 작업에 적합합니다.