h2o-llmstudio: 메모리 효율적인 학습을 지원하는 대규모 언어 모델 미세 조정을 위한 노코드 GUI 및 프레임워크

해결하는 문제

H2O LLM Studio는 사용자의 코딩 경험에 관계없이 대규모 언어 모델(LLM)의 미세 조정을 쉽게 접근할 수 있도록 설계되었습니다. 노코드 그래픽 사용자 인터페이스(GUI)와 실험 관리를 위한 유연한 프레임워크를 제공하여 LLM을 맞춤 설정하는 데 따르는 기술적 장벽을 제거합니다.

작동 방식

이 프로젝트는 미세 조정 프로세스를 관리하기 위한 GUI와 명령줄 인터페이스(CLI)를 제공합니다. 사용자는 데이터셋을 업로드하고, 하이퍼파라미터를 구성하며, 메모리 요구 사항을 줄이기 위해 LoRA 및 8-bit training과 같은 고급 기술을 사용할 수 있습니다. 선호도 최적화를 위한 DPO, IPO, KTO를 포함한 다양한 최적화 기술뿐만 아니라 Causal Regression 및 Classification 모델링을 지원합니다. 더 큰 모델의 경우, 여러 GPU에 걸쳐 분할 학습을 수행하기 위해 DeepSpeed를 통합합니다.

대상 사용자

코드를 작성하지 않고 LLM을 미세 조정하려는 개발자와 AI 연구자, 그리고 자동화된 실험을 위해 CLI 기반 워크플로우를 선호하는 사람들을 대상으로 합니다.

주요 특징

• No-Code GUI: 미세 조정 실험을 구성하고 실행하기 위한 전용 인터페이스.
• 메모리 효율성: GPU 메모리 사용량을 낮추기 위한 LoRA 및 8-bit training 지원.
• 고급 최적화: RLHF의 대안으로 DPO, IPO, KTO를 포함.
• 실험 추적: Weights & Biases (W&B)와 연동하여 추적, 비교 및 통합할 수 있는 시각적 도구.
• 모델 내보내기: Hugging Face Hub로 직접 내보내는 기능.
• 멀티 GPU 지원: 여러 GPU에서 더 큰 모델을 학습시키기 위한 DeepSpeed 통합.