h2oai/h2o-llmstudio

H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://docs.h2o.ai/h2o-llmstudio/

What it solves

H2O LLM Studio 是為了讓無論具備何種編碼經驗的使用者都能輕鬆進行大型語言模型 (LLM) 的微調。它透過提供無代碼圖形化使用者介面 (GUI) 和一個靈活的框架來管理實驗，消除了自定義 LLM 的技術障礙。

How it works

該專案提供 GUI 和命令列介面 (CLI) 來管理微調過程。使用者可以上傳數據集、配置超參數，並使用 Low-Rank Adaptation (LoRA) 和 8-bit 訓練等進階技術來降低記憶體需求。它支援多種優化技術，包括用於偏好優化的 DPO、IPO 和 KTO，以及因果回歸 (Causal Regression) 和分類建模 (Classification modeling)。對於較大的模型，它整合了 DeepSpeed 以實現跨多個 GPU 的分片訓練。

Who it's for

它適用於想要在不寫代碼的情況下微調 LLM 的開發者和 AI 研究人員，以及那些偏好使用基於 CLI 的工作流程進行自動化實驗的人員。

Highlights

  • No-Code GUI: 配置和啟動微調實驗的專用介面。
  • Memory Efficiency: 支援 LoRA 和 8-bit 訓練以降低 GPU 記憶體佔用。
  • Advanced Optimization: 包括 DPO、IPO 和 KTO 作為 RLHF 的替代方案。
  • Experiment Tracking: 用於追蹤、比較並與 Weights & Biases (W&B) 整合的視覺化工具。
  • Model Export: 直接導出至 Hugging Face Hub 的功能。
  • Multi-GPU Support: 與 DeepSpeed 整合，可在多個 GPU 上訓練較大的模型。