Hugging Face CFM ケーススタディ: LLM インサイトを使った小規模モデルのファインチューニング

Capital Fund Management (CFM)は、大規模言語モデル(LLM)を使用してトレーニングデータにラベルを付けることで、金融データの名前付きエンティティ認識(NER)を最適化しました。このアプローチにより、精度が最大6.4%向上し、大規模LLMのみを推論に頼る場合と比較して運用コストが最大80倍削減されました。

LLMアシストラベル付けワークフロー

CFMは、LLMの自動化と人間による検証を組み合わせたパイプラインを使用して、ファインチューニングのための高品質なデータセットを作成しました。このプロセスには次の手順が含まれます：

合成ラベル生成

CFMは、Llama 3.1-70b-InstructをHugging Face Inference Endpointsを使ってデプロイしました。構造化され正確な出力を確保するため、チームはモデルを金融の専門家として定義する特定のシステムプロンプトを使用し、Pydanticスキーマを実装して、モデルが抽出した生の企業名とその正規化バージョンの両方を含むJSONを返すように強制しました。

Financial News and Stock Price Integration Dataset (FNSPID)からの900,000サンプルの処理には約8時間かかり、概ね$70のコストが発生しました。

ヒューマン・イン・ザ・ループによる改良

グランドトゥルースの信頼性を確保するため、CFMはオープンソースのデータアノテーションプラットフォームであるArgillaを使用しました。チームは、ファジーマッチングによって作成された企業クラスターに基づいて2,714件の見出しをサンプリングしました。

事前に計算されたLlamaラベルを出発点として使用することで、人間のアノテーターは1サンプルあたりの作業時間を30秒から5〜10秒に短縮しました。2,714サンプルの全体アノテーションは約8時間で完了しました。

ゼロショットパフォーマンス比較

ファインチューニング前に、CFMはキュレートされたデータセット上でパフォーマンスのベースラインを確立するため、ゼロショット設定でいくつかのモデルを評価しました：

モデル F1-スコア (ゼロショット)
Llama 3.1-70b 95%
Llama 3.1-8b 88%
GLiNER 87%
SpanMarker 47%

Llama 3.1-70bは最高の精度を提供しましたが、その計算要件はコンパクトモデルのそれとは比べ物にならないほど高いです。

コンパクトモデルへのファインチューニングの影響

LLMアシストによる人間検証済みデータセットで小規模モデルをファインチューニングすると、最大のLLMに匹敵する性能向上が得られつつ、コストを大幅に削減できました。

パフォーマンス向上

ファインチューニングにより、小規模モデルのパフォーマンスが変化しました：

  • GLiNER-medium-newsのF1スコアが87.0%から**93.4%**に向上しました。
  • SpanMarkerのF1スコアが47.0%から**90.1%**に向上しました。

コストと効率

ファインチュードされた小規模モデルと大規模LLMの間のコスト差は大きいです：

  • Llama 3.1-70bの推論コストは少なくとも時間あたり$8です。
  • **Compact models (GPU)**のコストはおおよそ時間あたり$0.50（16倍安価）です。
  • **Compact models (CPU)**のコストはおおよそ時間あたり$0.10（80倍安価）です。

弱教師あり学習 vs. 人間アノテートデータ

CFMは、人間アノテートデータでのGLiNERのファインチューニング結果と、Llama 3.1-70bによって生成された合成データ（弱教師あり学習）の結果を比較しました。

  • 精度: データセットサイズが増加するにつれて、人間アノテートデータで訓練されたモデルは一貫してより高いF1スコアを達成しました。
  • トレードオフ: 1,000サンプルの場合、手動アノテーションには3時間かかり、F1スコア0.915が得られました。一方、Llama 3.1-70bの推論は2分で、F1スコア0.895が得られました。

この研究は、LLMアシストラベル付けはスケーリングにおいて非常に効率的である一方で、人間による検証が最大の精度を達成するために依然として重要であると結論付けています。

Sources