h2oai/h2o-llmstudio

H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://docs.h2o.ai/h2o-llmstudio/

What it solves

H2O LLM Studio 是为了让无论具备何种编码经验的用户都能轻松进行大语言模型 (LLM) 的微调。它通过提供无代码图形化用户界面 (GUI) 并提供一个灵活的框架来管理实验，消除了定制化 LLM 的技术障碍。

How it works

该项目提供 GUI 和命令行界面 (CLI) 来管理微调过程。用户可以上传数据集、配置超参数，并使用 Low-Rank Adaptation (LoRA) 和 8-bit 训练来减少内存需求。它支持多种优化技术，包括用于偏好优化的 DPO、IPO 和 KTO，以及因果回归 (Causal Regression) 和分类建模 (Classification modeling)。对于较大的模型，它集成了 DeepSpeed 以实现跨多个 GPU 的分片训练。

Who it's for

它适用于想要在不写代码的情况下微调 LLM 的开发者和 AI 研究人员，以及那些偏好使用基于 CLI 的工作流程进行自动化实验的人员。

Highlights

  • No-Code GUI: 用于配置和启动微调实验的专用界面。
  • Memory Efficiency: 支持 LoRA 和 8-bit 训练以降低 GPU 内存占用。
  • Advanced Optimization: 包括 DPO、IPO 和 KTO 作为 RLHF 的高级替代方案。
  • Experiment Tracking: 用于追踪、比较并与 Weights & Biases (W&B) 整合的视觉化工具。
  • Model Export: 直接导出到 Hugging Face Hub 的功能。
  • Multi-GPU Support: 集成了 DeepSpeed，可在多个 GPU 上进行分片训练以训练更大的模型。