h2oai/h2o-llmstudio

H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://docs.h2o.ai/h2o-llmstudio/

解决的问题

H2O LLM Studio 提供了一个用于微调大型语言模型（LLMs）的无代码图形用户界面（GUI）和框架。它消除了执行复杂微调任务所需的编程经验，使用户能够无需编码即可尝试超参数和高级训练技术。

如何工作

该工具允许用户上传数据集并创建实验以微调 LLM。它同时支持直观管理的 GUI 和面向高级用户的命令行界面（CLI）。该框架与 NVIDIA GPU 集成，并支持低秩适应（LoRA）和 8 位训练等内存高效技术。对于更大的模型，它利用 DeepSpeed 在多个 GPU 上进行分片训练。

适用人群

专为希望无需编写代码即可微调 LLM 的用户，以及需要可视化方式跟踪、比较和评估模型性能的开发者设计。

主要亮点

  • 无代码 GUI：用于管理整个微调过程的专用界面。
  • 高级微调：支持 LoRA、8 位训练以及 DPO、IPO 和 KTO 等偏好优化技术。
  • 性能追踪：可视化比较实验，并与 Weights & Biases (W&B) 集成。
  • 模型导出：可轻松将训练好的模型导出至 Hugging Face Hub。
  • 灵活部署：可通过 Docker、CLI 或云实例（例如 RunPod）运行。
  • 多样化的任务类型：支持因果回归和因果分类建模。

相关

  • 项目
    hiyouga/LlamaFactory

    LlamaFactory是一个开源工具包，允许您通过简单的YAML配置微调、评估和提供100多个大型语言模型，提供命令行界面和基于Gradio的Web UI。它支持许多现代训练方法（LoRA、QLoRA、RLHF、PPO、DPO等）、广泛的模型（LLaMA-3/4、Qwen 3、Mixtral-MoE、Gemma 3等），并可在NVIDIA、AMD、Ascend NPU或云服务上运行。集成的监控（TensorBoard、WandB、SwanLab）和部署选项（OpenAI风格API、vLLM/SGLang）使其适用于研究人员、产品团队和教育工作者。

  • Dispatch
    Hugging Face Skills：使能 AI 代理微调 LLMs

    Hugging Face 推出了 Hugging Face Skills，这是一个工具，使得像 Claude Code 这样的编码代理能够管理整个 LLM 微调生命周期，从硬件选择到模型部署。

  • Dispatch
    Hugging Face 指南：无代码训练 LLaMA 2 聊天机器人

    Hugging Face 使用 Spaces、AutoTrain 和 ChatUI 提供无代码工作流，使非工程师能够微调 LLaMA 2 并将其部署为功能聊天应用。

  • 项目
    unslothai/unsloth-zoo

    Unsloth 的一个实用库，可显著降低显存需求，实现更快、更高效的 LLM、视觉模型和 TTS 模型微调。

  • 项目
    OptimalScale/LMFlow

    LMFlow 是一个可扩展的 Python 工具箱，用于微调大型语言模型。支持全参数训练、LoRA、内存高效的 LISA 算法、QLoRA 量化，以及一系列加速技巧（FlashAttention‑2、DeepSpeed、vLLM、SGLang）。训练完成后，提供简单的聊天式推理脚本和可选的 Gradio/Flask 部署。该库专为 Linux/Colab 环境设计，还提供多模态模型、分布式奖励模型推理等可选扩展功能。