LoRAを用いた災害ツイート分類におけるRoBERTa、Llama 2、およびMistralの比較
本研究では、Low-Rank Adaptation (LoRA) を使用した災害ツイート分類タスクにおいて、RoBERTa、Llama 2、およびMistral 7Bの性能を比較します。結果として、より小規模なRoBERTaモデルが、精度（F1スコア）と効率性の両面で大規模な7Bパラメータモデルを上回ることが示されました。これは、単純な短シーケンスの二値分類タスクには、巨大なLLMは必ずしも必要ではない可能性を示唆しています。
比較性能結果
テストした3つのモデルの中で、RoBERTaが最も高いF1スコアと最も低いリソース消費を達成しました。Llama 2はMistral 7Bよりも優れた性能を示しましたが、両モデルともRoBERTaと比較して大幅に低速で、メモリ消費量も多くなりました。
| Model | F1 Score | Training Time | Memory Consumption | Trainable Parameters |
|---|---|---|---|---|
| RoBERTa | 0.8077 | 538 seconds | GPU1: 9.1 Gb / GPU2: 8.3 Gb | 0.64% |
| Llama 2 | 0.7638 | 2052 seconds | GPU1: 35 Gb / GPU2: 33.9 Gb | 0.12% |
| Mistral 7B | 0.7364 | 2030 seconds | GPU1: 29.6 Gb / GPU2: 29.5 Gb | 0.024% |
技術的実装と手法
モデルアーキテクチャ
モデルのサイズとタイプが分類性能に与える影響を判断するために、3つの異なるアーキテクチャを評価しました：
- RoBERTa (Large): 355Mのパラメータを持つエンコーダーのみのTransformerモデル。ベースラインとして使用。
- Llama 2 (7B): SwiGLU活性化関数とRotary Positional Embeddingsを特徴とする自己回帰デコーダーベースのモデル。
- Mistral 7B (v0.1): 推論を最適化し、より長いシーケンスを扱うためにSliding Window AttentionとGrouped-query Attentionを利用したデコーダーベースのモデル。
LoRAファインチューニング
事前学習済みの重みを凍結したまま、低ランクの更新行列を学習することで、学習可能なパラメータ数を削減するためにLow-Rank Adaptation (LoRA) が使用されました。このParameter-Efficient Fine-Tuning (PEFT) アプローチは、エンコーダーとデコーダーの両方のアーキテクチャに適用されました。
デコーダーモデル（Llama 2およびMistral 7B）では、LoRAは特に q_proj と v_proj モジュールを対象としました。その結果、学習可能なパラメータの割合は極めて低くなりました（Mistral 7Bで0.024%、Llama 2で0.12%）。
データセットと前処理
モデルは mehdiiraqui/twitter_disaster データセットでトレーニングされました。公平な比較を確実にするため、RoBERTaの制限に合わせて、すべてのモデルの最大シーケンス長 (MAX_LEN) を512に設定しました。
データセットがポジティブクラスとネガティブクラスで不均衡な分布を示していたため、カスタムの WeightedCELossTrainer を実装しました。このトレーナーは compute_loss メソッドをオーバーライドして、計算された重み（Positive: 1.1637, Negative: 0.8767）を使用して重み付きクロスエントロピー損失を適用し、多数派クラスへのモデルのバイアスを防ぎます。
ハードウェアおよびトレーニング設定
トレーニングは、1つのA6000 GPU（48GBメモリ）を搭載したシングルノードで実施されました。
Mistral 7BとLlama 2のサイズにより、モデルをGPUメモリに収めるために半精度トレーニング (fp16=True) が必要でしたが、RoBERTaは半精度なしでトレーニングされました。両方の7Bモデルは、メモリ使用量をさらに管理するためにグラディエント・チェックポインティングを利用しました。
主な知見
- モデルサイズ vs タスクの複雑性: 短いシーケンスを含む単純な予測タスクでは、RoBERTaのような小規模なベースモデルが非常に競争力があり、多くの場合、大規模なLLMよりも優れています。
- 効率性の向上: RoBERTaのトレーニング時間は7Bモデルよりも約3.8倍速く、メモリ使用量も大幅に少なくなりました。
- LoRAの汎用性: 本研究は、LoRAがエンコーダーのみのTransformerアーキテクチャとデコーダーのみのTransformerアーキテクチャの両方において、シーケンス分類に効果的であることを確認しました。