h2oai/h2o-llmstudio

H2O LLM Studio - a framework and no-code GUI for fine-tuning LLMs. Documentation: https://docs.h2o.ai/h2o-llmstudio/

何を解決するか

H2O LLM Studio は、大規模言語モデル（LLM）のファインチューニング用のノーコードGUIとフレームワークを提供します。複雑なファインチューニング作業を行うためにコーディング経験を必要とせず、ユーザーがハイパーパラメータや高度なトレーニング技術を試すことができるようになります。

どう動くか

このツールでは、データセットのアップロードと実験の作成を通じてLLMのファインチューニングが可能になります。直感的な管理を可能にするGUIと、上級ユーザー向けのコマンドラインインターフェース（CLI）の両方をサポートしています。フレームワークはNVIDIA GPUと統合され、低ランク適応（LoRA）や8ビットトレーニングなどのメモリ効率の高い技術をサポートしています。より大きなモデルの場合、複数のGPUにわたるシャーディングトレーニングにDeepSpeedを利用します。

対象ユーザー

コードを書かずにLLMをファインチューニングしたいユーザー、およびモデルのパフォーマンスを視覚的に追跡・比較・評価したい開発者向けに設計されています。

主な特徴

  • ノーコードGUI：ファインチューニングプロセス全体を管理する専用インターフェース。
  • 高度なファインチューニング：LoRA、8ビットトレーニング、およびDPO、IPO、KTOなどの好み最適化技術をサポート。
  • パフォーマンス追跡：実験の視覚的比較とWeights & Biases（W&B）への統合。
  • モデルエクスポート：トレーニング済みモデルをHugging Face Hubに簡単にエクスポート。
  • 柔軟なデプロイ：Docker、CLI、またはクラウドベースのインスタンス（例：RunPod）で実行可能。
  • 多様な問題タイプ：因果回帰および因果分類モデリングをサポート。

関連

  • プロジェクト
    hiyouga/LlamaFactory

    LlamaFactoryは、シンプルなYAML設定で100以上の大規模言語モデルをファインチューニング、評価、提供できるオープンソースツールキットで、コマンドラインインターフェースとGradioベースのWeb UIの両方を提供します。多くの最新トレーニング手法（LoRA、QLoRA、RLHF、PPO、DPOなど）、幅広いモデル（LLaMA-3/4、Qwen 3、Mixtral-MoE、Gemma 3など）をサポートし、NVIDIA、AMD、Ascend NPU、またはクラウドサービスで実行できます。統合されたモニタリング（TensorBoard、WandB、SwanLab）とデプロイメントオプション（OpenAIスタイルAPI、vLLM/SGLang）により、研究者、プロダクトチーム、教育者に適しています。

  • Dispatch
    Hugging Face Skills: AIエージェントによるLLMファインチューニングの実現

    Hugging Faceは、Claude Codeなどのコーディングエージェントがハードウェア選択からモデルデプロイまでLLMファインチューニングのライフサイクル全体を管理できるツールであるHugging Face Skillsを導入しました。

  • Dispatch
    Hugging Face ガイド: コード不要で LLaMA 2 チャットボットをトレーニング

    Hugging Face は、Spaces、AutoTrain、ChatUI を使用したノーコード ワークフローを提供し、エンジニアでないユーザーでも LLaMA 2 をファインチューニングし、機能的なチャット アプリケーションとしてデプロイできるようにします。

  • プロジェクト
    unslothai/unsloth-zoo

    Unsloth用のユーティリティライブラリであり、VRAM要件を大幅に削減しながら、LLM、ビジョン、およびTTSモデルのより高速でメモリ効率の高いファインチューニングを可能にします。

  • プロジェクト
    OptimalScale/LMFlow

    LMFlow は、大規模言語モデルのファインチューニングに適した拡張可能な Python ツールボックスです。全パラメータ学習、LoRA、メモリ効率の高い LISA アルゴリズム、QLoRA 量子化、および FlashAttention‑2、DeepSpeed、vLLM、SGLang などの高速化テクニックをサポートします。トレーニング後は、チャットスタイルの推論用スクリプトとオプションの Gradio/Flask デプロイが提供されます。このライブラリは Linux/Colab 環境向けに設計されており、マルチモーダルモデル、分散報酬モデル推論など、オプションの拡張機能も提供しています。