DaoyuanLi2816/can-i-finetune-this

Single-GPU LLM fine-tuning preflight: memory estimates, runnable LoRA/QLoRA recipes, and local measurements.

解決する問題

このツールは、ユーザーが特定の大規模言語モデル（LLM）を、利用可能な GPU VRAM でファインチューニングできるかどうかを、重みをダウンロードしたりモデルをメモリにロードしたりせずに判断するのに役立ちます。メモリ予算の見積もりと設定の提案を提供することで、トレーニング実行の計画から推測を排除し、メモリ不足（OOM）エラーを回避します。

仕組み

このツールは、Python ベースの推定器を使用して、重み、量子化、トレーニング可能な勾配、オプティマイザ状態、アクティベーション、および logits/loss バッファに必要なメモリを計算します。これらの見積もりに基づいて、実行可能なトレーニングレシピを生成できます。ユーザーはこれらのレシピを実行して、実際のローカルトレーニングパフォーマンスを測定し、観測されたメモリピークを予測された予算と比較できます。

対象者

コンシューマー向け NVIDIA GPU を使用する開発者や AI 研究者で、トレーニング実行に着手する前に LLM のファインチューニング設定（シーケンス長、バッチサイズ、LoRA ランクなど）を計画したい方。

ハイライト

  • 重みなし推定：コアメモリ推定には PyTorch もモデル重みのダウンロードも不要です。
  • 設定計画：VRAM 予算に基づいて、シーケンス長、バッチサイズ、LoRA ランクを提案します。
  • 実行可能なレシピ：Transformers と PEFT を使用して実行可能なトレーニングスクリプトを生成します。
  • インタラクティブデモ：メモリの内訳を検査するためのローカル Web ベースのエントリポイントが含まれています。
  • 証拠に基づく：実際に測定されたメモリピークを予測と記録して比較できます。

関連

  • Dispatch
    ローカルLLM選択の最適化：whichllmの詳細分析

    whichllm が証拠に基づくランク付けと VRAM 推定を用いて、特定ハードウェア向けに最も性能の高いローカル LLM を見つける課題をどのように解決するかを探ります。

  • プロジェクト
    AlexsJones/llmfit

    llmfit は、CPU、RAM、GPU、アクセラレータの構成を自動検出し、数百のオープンソース LLM（さまざまな量子化を含む）を、適合性、推定速度、品質、コンテキスト長に基づいてランク付けするクロスプラットフォームの CLI/TUI（およびオプションの Web/API）ツールです。自分のハードウェアでモデルをベンチマークし、結果を共有し、JSON または REST API を介して推奨事項を利用できるため、実際に自分のマシンで動作するモデルを簡単に選択してデプロイできます。

  • プロジェクト
    aidatatools/ollama-benchmark

    ローカルで実行される Ollama モデルのトークン毎秒のスループットをベンチマークする CLI ツール。利用可能な RAM に基づいてモデルを自動的に選択し、パフォーマンスを報告します。

  • プロジェクト
    unslothai/unsloth-zoo

    Unsloth向けのユーティリティと最適化されたカーネルのコレクション。LLMやマルチモーダルモデルの微調整をより高速かつメモリ効率よく実行し、VRAM使用量を大幅に削減します。

  • プロジェクト
    NVIDIA/TensorRT-LLM

    TensorRT‑LLM は、大規模言語モデル（およびビジュアル生成モデル）を超高速 TensorRT 推論エンジンにコンパイルする NVIDIA のオープンソースライブラリです。カスタム CUDA カーネル、量子化、スパースアテンション、投機的デコード、マルチ GPU 並列処理を提供し、精度を維持しながらトークンスループットを 2〜10 倍向上させます。Python フレンドリーなランタイムは Triton、Kubernetes、Jetson と統合され、GPT‑OSS‑120B、Llama‑4、DeepSeek‑R1、拡散モデルなどのドキュメントと例が含まれています。