Kili と HuggingFace AutoTrain を用いた意見分類

Hugging Face は、データ中心の AI トレーニングプラットフォームである Kili と HuggingFace AutoTrain を統合することで、テキスト分類のアクティブラーニングパイプラインを構築するワークフローを詳述しています。このアプローチにより、開発者は最小限のコーディングでデータに繰り返しラベル付けしモデルをトレーニングでき、未加工データから本番環境向けの分類器へ移行する時間を大幅に短縮できます。

アクティブラーニングパイプラインの概要

アクティブラーニングは、ラベル付けされたデータをデータセットに追加し、モデルを再トレーニングして性能を向上させる反復プロセスです。この実装では、Google Play ストアの Medium アプリに対する約 40,000 件のユーザーレビューにパイプラインを適用し、意見のカテゴリ分けと感情分析を行います。

Kili を用いたデータ注釈

Kili は、高品質なトレーニングデータを作成するためのエンドツーエンドプラットフォームとして使用されます。ワークフローは以下の通りです：

  • Project Configuration: Web インターフェースまたは Python API を使用してマルチクラステキスト分類プロジェクトを作成します。
  • Label Definition: Medium レビュー データセットでは、主に「Subscription」「Content」「Interface」「User Experience」の4つのカテゴリを定義しました。エッジケースに対応するために「Other」および「Multi-label」の追加ラベルも使用しました。
  • API Integration: Kili Python API を使用すると、プログラムでプロジェクト作成、データを 100 件ずつアップロード、アセット属性の更新（例: ラベル付けミスやバイアスを修正するためにサンプルを「To Review」ステータスに移動）を行えます。
  • Labeling Interface: Kili は組み込みのキーボードショートカットと簡素化された UI を提供し、注釈プロセスを高速化します。

AutoTrain を用いた自動モデリング

AutoTrain は、データクリーニング、モデル選択、ハイパーパラメータ最適化を含む機械学習パイプラインを自動化します。transformers、datasets、inference-api ライブラリ上に構築されています。

  • Capabilities: AutoTrain は、二値およびマルチラベルテキスト分類、トークン分類、抽出的質問応答、テキスト要約、そして複数言語にわたるテキストスコアリングをサポートします。
  • Performance: 提示された例では、AutoTrain は約 20 分のトレーニングでほぼ 89% の精度を達成し、全体のセットアッププロセスは約 30 分かかりました。

手動モデリングとハイパーパラメータ最適化

比較のために、Hugging Face Trainer API と Ray Tune を使用したハイパーパラメータ最適化による手動モデリングアプローチを実装しました。

技術的実装

  • Base Model: cardiffnlp/twitter-roberta-base-sentiment モデルをファインチューニング用に選択しました。
  • Optimization Stack: パイプラインはスケジューラとして Async Successive Halving Algorithm (ASHA) を、探索アルゴリズムとして HyperOpt を使用しました。
  • Dataset Handling: ラベルをインデックスにマッピングし、AutoTokenizer を用いたトークナイズを処理するために、カスタム TextClassificationDataset クラスを作成しました。

結果と観察

20 回と 40 回の試行による手動チューニングでは、モデル性能がデータセットの品質に極めて敏感であることが示されました。著者は、ラベリング段階でバイアスを導入すると性能が低下し、後のデータセットバージョンでサンプルの分散が増加するにつれて修正されたと指摘しています。

最終分析と洞察

ファインチューニングしたモデルを全データセットに適用し、感情分析と組み合わせることで、Medium モバイルアプリケーションに関する以下の洞察が得られました：

  • Subscription: サブスクリプションに関するレビューのほとんどが否定的で、モバイルアプリで有料コンテンツは一般的に歓迎されていないことを示しています。
  • Interface: 多くの否定的なレビューがインターフェースに向けられており、特にバージョン 4.5 で顕著で、特定機能に関するバグやユーザーの混乱が示唆されています。
  • Content and Experience: ユーザーは記事やプラットフォーム全体の体験に対して概ね肯定的な感情を示しています。

結論

Kili の注釈ツールと AutoTrain を統合することで、テキスト分類器の展開が非常に効率的になります。Ray Tune による手動チューニングはより細かな制御を提供しますが、AutoTrain のモデル選択とハイパーパラメータ最適化の自動化機能により、ベースラインの確立やデータ中心 AI プロジェクトの反復が大幅に高速化されます。

Sources