Hugging Face と LLM-jp がオープン日本語 LLM リーダーボードを開始

Hugging Face と LLM-jp 研究コンソーシアムは、オープン日本語 LLM リーダーボードを開始し、日本語の大規模言語モデル（LLM）の性能を評価するための集中型で透明性のあるシステムを提供します。この取り組みは、複雑な表記体系や単語境界が存在しないといった独自の言語的課題を抱える日本語に対し、オープンなベンチマーク標準が欠如していた問題に対処します。

オープン日本語 LLM リーダーボードは llm-jp-eval ライブラリを活用し、古典的な NLP から最新の推論まで、16 の異なるタスクにわたってモデルを評価します。これらのタスクは 4-shot プロンプトで実行されます。評価スイートには、言語学者や専門家が一から作成したデータセットと、日本の文化・言語的特性に合わせて自動翻訳・調整されたデータセットが含まれます。

包括的評価スイート

主な評価データセット

  • Jamp: 自然言語推論（NLI）の時間的推論ベンチマークで、含意、ニュートラル、矛盾をテストします。
  • JEMHopQA: 内部推論と導出生成を評価するために設計されたマルチホップ質問応答データセットです。
  • jcommonsenseqa: 一般的な常識推論を評価するための CommonsenseQA の日本語版です。
  • chABSA: 金融庁（FSA）タクソノミーに従い、2016 会計年度の日本上場企業の財務報告書を基にしたアスペクトベース感情分析データセットです。
  • mbpp-ja: Mostly Basic Python Problems（MBPP）データセットを DeepL で翻訳したプログラミングデータセットです。
  • mawps: 基本的な算術や方程式に対するステップバイステップの Chain-of-Thought（CoT）推論に焦点を当て、日本の文脈に合わせて調整された数学評価データセットです。
  • JMMLU: MMLU の一部を基にし、日本の市民学、地理、慣用句に合わせて調整された知識データセットです。
  • XL-Sum: BBC ニュース記事の日本語翻訳を利用した抽象的要約データセットです。

技術実装

リーダーボードのアーキテクチャは Open LLM Leaderboard に触発されています。技術スタックは以下を含みます：

  • Deployment: Hugging Face Inference Endpoints を通じた自動デプロイ。
  • Evaluation Framework: llm-jp-eval ライブラリ（バージョン 1.14.1）。
  • Inference Engine: メモリ効率の高い提供のための vLLM（バージョン v0.6.3）。
  • Compute Backend: 日本の mdx プレミアム研究コンピュータプラットフォーム。

パフォーマンス観測

リーダーボードの分析から、日本の LLM エコシステムにおけるいくつかの傾向が明らかになりました：

  • Architecture Preferences: Meta の Llama アーキテクチャは日本の AI ラボで広く好まれていますが、Mistral と Qwen のアーキテクチャも上位スコアを獲得しています。
  • Open vs. Closed Source: オープンソースアーキテクチャはクローズドソースモデルとのギャップを縮めています。例えば、LLM-jp が開発した llm-jp-3-13b-instruct モデルは、クローズドソースの代替品に匹敵する性能を示しています。
  • Remaining Challenges: 多くの LLM は、金融（chABSA）、言語注釈（Wikipedia Annotated Corpus）、コード生成（mbpp-ja）、要約（XL-Sum）など、ドメイン固有のタスクで依然として苦戦しています。
  • Cultural Alignment: 日本の企業やラボが開発したモデルは、JCommonsenseMorality データセット（日本の価値観に沿った倫理的選択をテスト）でより高い性能を示します。

今後のロードマップ

llm-jp-eval ツールと共に評価フレームワークは進化していきます。計画されている拡張は以下の通りです：

  • Expanded Datasets: JHumanEval（HumanEval の日本語版）と MMLU の統合。
  • Advanced Evaluation: 基本プロンプトとの性能比較のために Chain-of-Thought（CoT）評価を実装。
  • New Metrics: 「Out-of-Choice rate」を導入し、モデルが提供されたラベル外のトークンを予測する頻度を測定し、指示遵守能力の指標とします。

Sources