オープン・メディカルLLMリーダーボード：医療分野における大規模言語モデルのベンチマーク

Hugging Face は、Open Medical-LLM Leaderboard を立ち上げました。これは、さまざまな医療タスクに対して大規模言語モデル（LLM）の性能を評価・比較するための標準化プラットフォームです。この取り組みは、医療分野に特化したベンチマークの重要性に応えるもので、モデルの出力ミスが患者ケアや治療結果に深刻な影響を及ぼす可能性があるためです。

評価フレームワークとデータセット

Open Medical-LLM Leaderboard は、正解率（accuracy）を主な評価指標として使用し、複数の専門医療 QA データセットに対するモデルの正答率を測定します。

MedQA

MedQA は、米国医師免許試験（USMLE）から抽出された選択式問題で構成され、米国の医師免許取得に必要な医療知識と推論能力を評価します。開発セットに 11,450 問題、テストセットに 1,273 問題が含まれます。

MedMCQA

インドの医療入試（AIIMS/NEET）を元に作成された MedMCQA は、2.4k のヘルスケアトピックと 21 の医学科目を網羅する大規模データセットです。開発セットに 187,000 以上の質問、テストセットに 6,100 の質問が含まれます。

PubMedQA

PubMedQA は、1,000 件の専門家ラベル付けされたペアからなるクローズドドメイン QA データセットです。モデルは、対応する PubMed 抄録に基づき yes / no / maybe のいずれかで回答し、科学的生物医学文献の理解と推論能力をテストします。

MMLU Subsets

リーダーボードは、Measuring Massive Multitask Language Understanding（MMLU）ベンチマークの特定サブセットを利用して、専門領域を評価します。

  • Clinical Knowledge: 臨床意思決定に関する 265 問題。
  • Medical Genetics: 100 問題。
  • Anatomy: 135 問題。
  • Professional Medicine: 272 問題。
  • College Biology: 144 問題。
  • College Medicine: 173 問題。

主な洞察とモデル分析

さまざまなモデルの評価結果から、商用モデルとオープンソースモデルの間に性能格差があるものの、一部の小規模モデルは競争力を保っていることが分かります。

  • Commercial Dominance: GPT-4-base と Med-PaLM-2 は、ほとんどの医療データセットで一貫して最高の正解率を示します。
  • Open-Source Competitiveness: 約 70 億パラメータのモデル（Starling-LM-7B、gemma-7b、Mistral-7B-v0.1、Hermes-2-Pro-Mistral-7B など）は、特定タスクで競争力のある性能を示します。
  • Shared Strengths: 商用モデルもオープンソースモデルも、臨床知識の適用（MMLU Clinical Knowledge）や生物医学文献の推論（PubMedQA）で高い性能を発揮します。
  • Gemini Pro Performance: Gemini Pro は、生体統計学、細胞生物学、産婦人科などデータ量が多く手順的なタスクで優れた結果を示す一方、解剖学、心臓病学、皮膚科学では中程度から低い性能に留まります。

モデル提出要件

リーダーボードで評価されるためには、研究者は以下の技術的条件を満たす必要があります。

  1. Safetensors Format: モデルの重みは safetensors に変換し、安全かつ高速にロードできるようにしてください。
  2. AutoClasses Compatibility: モデルとトークナイザーは、Transformers ライブラリの AutoConfig、AutoModel、AutoTokenizer クラスでロード可能である必要があります。
  3. Public Access: モデルは公開されている必要があります。プライベートモデルは評価対象外です。

現在、use_remote_code=True が必要なモデルはリーダーボードでサポートされていませんが、今後の開発で対応が検討されています。

今後のロードマップ

Open Medical-LLM Leaderboard は、以下の方向で範囲を拡大する予定です。

  • Diverse Datasets: 放射線学、病理学、ゲノミクスなどのデータを、産業界や研究機関との協業を通じて取り込む。
  • Advanced Metrics: 単純な正解率を超えて、ポイントワイズスコアや医療アプリケーション固有の要件をより的確に捉える指標を導入する。

Sources