Hugging Face ML Intern: 自動化されたモデル開発と蒸留

Hugging Faceは、HuggingChatに統合されたML Internというエージェント型ツールの能力を実証しました。自然言語による詳細なプロンプトを提供することで、ユーザーはML Internにデータセットの特定、ベースモデルの選定、トレーニングスクリプトの実行、評価、そして結果のモデルをHugging Face Hubに直接公開するまでを一括して依頼できます。

自動化されたMLワークフローとプロンプト戦略

ML Internは自律的なエージェントとして、開発作業の計画、ユーザーからの明確な予算要請、重みが変化しているかを確認するスモークテストの実行、Hugging Faceのハードウェア上でフルトレーニングと評価プロセスの実行を行います。

エージェントの効果を最大化するため、構造的なプロンプト戦略が推奨されます：

  • アイデアと根拠: 望ましいモデルとその必要性について明確に述べます。
  • 仕様: データセット、ベースモデル、トレーニングスクリプトを明示的に指定します。
  • 検証済みの事実: 「検証済みの事実、再導出しないでください」というセクションを含め、エージェントが既知の情報を再発見するために計算リソースを無駄に使わないようにします。
  • ベースライン要件: トレーニング後の実際の向上を測定するために、ベースモデルのゼロショットスコアをターゲット指標で要求します。
  • スモークテスト: 50ステップ程度の小さな初期実行を義務付け、保存された重みが変化しているかを確認してからフルトレーニングを開始するようにします。
  • 予算管理: 「合計支出をUSD 12までに制限」といった厳格な支出上限を定義し、それを超える前にユーザーの許可を得るようエージェントに要求します。

モデル作成の事例

ML Internを用いて、数日間で異なるモダリティや用途に特化した複数のモデルが開発されました：

ドメイン特化型ビジョンモデル

ML InternはQwen3.5-2Bを微調整し、柑橘類の21種類の害虫、病気、栄養不足を識別できるcitrus-disease-vlmを構築しました。1枚のA10G GPUで2エポック実行した結果、335枚のテスト画像における精度は14.9%から52.8%に向上し、コストは約USD 1.90でした。

キャラクター特化型LoRA

84枚のキャプション付きのスケッチを用いて、FLUX.2 klein base 4B上でLoRAをトレーニングし、「Huggy」という特定のブランドキャラクターを一貫して描画できるモデルを作成しました。100ステップごとにチェックポイントを保存し、キャラクターの忠実度とスタイルの漏れのバランスを最適化しました。コストは約USD 7.60でした。

機能特化型画像LoRA

Qwen-Image 2.1向けに2つの専用LoRAが開発されました：

  • Viewpoint Orbit LoRA: 特定の角度からオブジェクトを表示するように要求できるモデル。ML Internは1,030枚のスキャンされたオブジェクトから24,722枚の透明画像をレンダリングしてトレーニングデータセットを作成しました。プロジェクトコストは約USD 16です。
  • Doodle-in LoRA: 写真内のマゼンタのスケッチを特定のオブジェクトに置き換えつつ、照明や構図を維持するモデル。ML InternはLaMaインペインティングモデルを使って6,042ペアのトレーニングデータセットを合成しました。プロジェクトコストは約USD 24.30です。

モデルの蒸留と圧縮

ML Internは既存モデルのより小型で効率的なバージョンの作成にも使用されました：

  • Pocket Rewriter: 9BパラメータのQwen-Image 2.1プロンプトリライターの0.8Bおよび2Bの学生モデル。0.8BバージョンはCPU上で動作し、99.7%の確率で有効な出力を返す一方で、教師モデルの1/4のトークンを使用します。合計計算コストはUSD 16.05でした。
  • Agate 4-step: LogolabsのAgate Preview 002（260Mパラメータ）の蒸留。元のモデルは50ステップ必要でしたが、ML Internにより4ステップに圧縮されました。2回のトレーニング後、GenEvalスコアは0.509から0.536に向上（教師モデルの50ステップ時0.563）し、計算量は75%削減されました。合計コストはUSD 37です。

リソースとコストの要約

6つのプロジェクトにおいて、GPUおよびCPUジョブの合計計算コストは約USD 103でした。

モデル ベースモデル 計算コスト
Citrus Doctor Qwen3.5-2B USD 1.90
Huggy LoRA FLUX.2 klein base 4B USD 7.60
Pocket Rewriter (0.8B & 2B) Qwen3.5-0.8B & 2B USD 16.05
Viewpoint Orbit LoRA Qwen-Image 2.1 USD 16
Doodle-in LoRA Qwen-Image 2.1 USD 24.30
Agate 4-step Agate Preview 002 USD 37
合計 ~USD 103

Sources