Together AI を使用した Hugging Face Hub の LLM のファインチューニング

Hugging Face Hub との双方向統合

この統合により、Hugging Face Hub と Together AI のトレーニング環境間でモデルをシームレスにやり取りできるようになります。Together AI は Hub から任意の互換性のある公開モデルを取得でき、API トークンを使用してプライベートリポジトリのモデルも取得できます。ファインチューニングが完了すると、宛先リポジトリ名が指定されている場合、生成されたモデルを自動的に Hugging Face Hub にプッシュできます。

技術実装：ベースモデルとカスタムモデル

モデルをファインチューニングするために、Together AI プラットフォームはトレーニング環境を構成するための 2 つのパラメータシステムを利用します。

  • Base Model (model): これはトレーニングテンプレートとして機能します。Together AI の公式カタログにあるモデルで、インフラ構成、メモリ割り当て、GPU リソース最適化、推論設定を定義します。
  • Custom Model (from_hf_model): ユーザーがファインチューニングしたい特定の Hugging Face モデルを指します。

最適な結果を得るには、カスタムモデルはベースモデルテンプレートと同様のアーキテクチャ、概算サイズ、シーケンス長を共有している必要があります。たとえば、Llama アーキテクチャを使用するモデル（HuggingFaceTB/SmolLM2-1.7B-Instruct など）は、ベースモデルテンプレートとして togethercomputer/llama-2-7b-chat を使用します。

互換性と範囲

一般的に、パラメータ数が 1000 億未満のすべての CausalLM モデルはこの機能と互換性があることが想定されています。

開発者への影響とユースケース

この統合により、モデルの探索から本番環境への移行に伴う摩擦が大幅に削減されます。開発者はトレーニングインフラを数日間設定することなく、コミュニティ主導のイノベーションや専門モデルを試すことができるようになりました。

実際のアプリケーション

初期導入者やベータユーザーは、この機能をさまざまな形で活用しています。

  • Domain Adaptation: 金融、医療、法務などの業界向けに、すでにある程度のドメイン知識を持つモデルから出発して、汎用モデルを専門化します。
  • Iterative Improvement: コミュニティモデルを出発点としてファインチューニングし、その結果をさらに洗練させるために再度使用します。
  • Community Model Specialization: 推論、コーディング、マルチリンガル機能など、特定タスク向けに最適化されたモデルを、独自のユースケース向けにさらにカスタマイズします。
  • Architecture Exploration: Hub でリリースされる新しいモデルバリアントやアーキテクチャを迅速にテストします。

ケーススタディ

  • Slingshot AI: この機能を開発パイプラインに統合し、トレーニングの一部を自社インフラで実行し、Hub にアップロードした後、Together AI のプラットフォームで継続的にファインチューニングします。
  • Parsed: 小規模でよくチューニングされたオープンソースモデルが、慎重にキュレーションされたデータセットを使用することで、より大きなクローズドモデルを上回ることを実証しました。

効率向上

チームは「価値へのスピード」が大幅に向上し、数週間ではなく数日で専門化モデルを本番環境に導入できると報告しています。さらに、既に関連機能を備えているモデルから開始するため、トレーニングエポック数やデータセット規模が削減でき、目標パフォーマンスに到達するコスト効率も向上します。

Sources