FilBench: フィリピン語におけるLLMの能力評価

Hugging Faceは、タガログ語、フィリピン語、セブアノ語におけるLLMの流暢さ、言語能力、文化的知識を評価するために設計された包括的な評価スイート、FilBenchを導入しました。このベンチマークは、フィリピン語におけるLLMの流暢性に関する逸話的証拠を超えて、モデル性能のデータ駆動型理解を確立する体系的な方法を提供します。

FilBench フレームワークと方法論

FilBenchは、12のタスクから構成され、4つの主要カテゴリに分けられた構造化された評価スイートです。ベンチマークが実際のNLP研究や利用動向を反映するように、これらのカテゴリは2006年から2024年初頭までのフィリピン語NLP研究の歴史的調査に基づいて選定されました。ほとんどのカテゴリは、言語の自然な使用に忠実であるために、翻訳されていないコンテンツを利用しています。

評価カテゴリ

  • Cultural Knowledge（文化的知識）: 事実的かつ文化的に特有の情報を想起する能力をテストします。これには地域知識（Global-MMLU）、フィリピン中心の価値観（KALAHI）、語義曖昧性の解消（StingrayBench）が含まれます。
  • Classical NLP（古典的NLP）: 専門モデルが従来扱ってきた情報抽出や言語タスクをカバーし、固有表現抽出（CebuaNER、TLUnified-NER、Universal NER）、テキスト分類、感情分析（SIB-200 と BalitaNLP のサブセット）を含みます。
  • Reading Comprehension（読解力）: フィリピン語テキストの可読性、理解、自然言語推論を通じて解釈を評価します（Cebuano Readability Corpus、Belebele、NewsPH NLI）。
  • Generation（生成）: 翻訳の忠実性に焦点を当て、英語からフィリピン語、セブアノ語から英語への翻訳を評価します。使用データセットは NTREX-128、Tatoeba、TICO-19 です。

実装とスコアリング

FilBenchはLightevalフレームワーク上に構築されています。研究者は一般的な評価用語の特定の翻訳ペア（例: “yes” を oo、 “no” を hindi）を定義し、提供されたテンプレートを用いてカスタムタスクを実装しました。最終結果は FilBench Score として表され、各カテゴリの例数に基づく加重平均です。

LLM評価からの主要な発見

20以上の最先端LLMを評価した結果、フィリピン語における性能に関して3つの主要な洞察が明らかになりました。

地域特化モデル vs. 汎用モデル

SEA（東南アジア）特化型LLM（例: SEA-LION、SeaLLM）は、フィリピン語に対して最もパラメータ効率の高いモデルで、同等サイズの他モデルより高い FilBench スコアを達成しています。しかし、GPT-4o のようなクローズドソースモデルには依然として劣ります。

このギャップにもかかわらず、研究はSEA特化のインストラクションチューニングデータでベースLLMを継続的にファインチューニングすることで、性能が2〜3%向上することを示しています。これは、フィリピン語およびSEA特化のトレーニングデータのキュレーションがモデル改善に極めて有効な方向であることを示唆しています。

生成と翻訳における課題

生成は評価されたモデル全体で最も難しいカテゴリです。翻訳タスクでの一般的な失敗モードは以下の通りです：

  • 翻訳指示に従わない。
  • 過度に冗長なテキストの生成。
  • タガログ語やセブアノ語以外の言語が幻覚的に生成される。

オープンウェイトモデルのコスト効率

Hugging Faceで利用可能なオープンウェイトLLMは、商用モデルに対して大きな性能低下なしにコスト効果の高い代替手段を提供します。フィリピン語タスクでGPT-4oの代替を求めるユーザーには、研究者は効率のパレートフロンティア上で強力な選択肢として Llama 4 Maverick を挙げています。

リソースとアクセス

FilBenchは公式の Lighteval リポジトリ内のコミュニティタスクとして提供されています。開発者は arXiv（2508.03523）で完全な研究論文にアクセスでき、GitHubで評価コードを取得できます。

Sources