NVIDIA Nemotron 3 Nano のオープン評価レシピ（NeMo Evaluator）

TL;DR

NVIDIA は 300 億パラメータの Nemotron 3 Nano A3B モデルを、NeMo Evaluator ライブラリ上に構築された完全にオープンな評価レシピと共にリリースしました。これにより、誰でもベンチマークスコアを再現し、評価パイプラインのすべてのステップを監査できるようになります。

オープン評価が重要な理由

オープン評価は、報告されたスコアを過大評価または過小評価させる隠れた変数を排除します。正確な設定ファイル、推論設定、ログ、アーティファクトの配置を公開することで、NVIDIA はモデルの性能が本当の能力を反映しているのか、単にベンチマーク用にチューニングされた設定なのかを検証できるようにしています。

一貫した単一評価システム

NeMo Evaluator はベンチマーク、プロンプト、ランタイムパラメータ、推論バックエンドを定義するための統一インターフェースを提供します。同じ YAML 設定をモデルリリース間で再利用できるため、長期的な比較を壊すようなサイレントな変更を防げます。

推論環境に依存しない手法

NeMo Evaluator は評価ワークフローを推論エンジンから分離します。モデルが NVIDIA のホストエンドポイント、Hugging Face Inference API、OpenRouter、あるいはローカルデプロイのいずれであっても、同じ評価定義が適用され、インフラ変更による結果のばらつきを防ぎます。

ワンオフ実験を超えるスケーラビリティ

NeMo Evaluator のランチャー、アーティファクト配置、設定モデルは繰り返し実行できる大規模実行を想定して設計されています。チームは単一ベンチマークの検証から、スクリプトを書き直すことなくフルモデルカードスイートへと移行でき、時間を通した手法の一貫性を保てます。

構造化されたアーティファクトとログによる監査性

各実行は自動的に以下を生成します：

  • タスク別 results.json ファイル（生スコアを含む）
  • デバッグ用の包括的実行ログ
  • 決定論的なディレクトリ階層（artifacts/ と logs/）

これらのアーティファクトにより、最終数値がどのように導出されたかを簡単に追跡でき、モデル挙動の詳細分析も可能です。

共有評価標準

Nemotron 3 Nano と 完全な評価レシピ（モデルカード内の GitHub リンク参照）を公開することで、NVIDIA はコミュニティに参照手法を提供します。同一の設定とツールを使用すれば、ベンチマークの選択・実行・解釈がモデルやプロバイダーを超えて統一されます。

オープンソースツール：NeMo Evaluator

NeMo Evaluator は複数のハーネスから数百のベンチマークをオーケストレーションします。主なハーネスは次のとおりです：

  • NeMo Skills – 指示遵守、ツール使用、エージェントタスク
  • LM Evaluation Harness – 基礎モデルおよび事前学習ベンチマーク

各ハーネスは独自のロジックとデータセットを保持しつつ、NeMo Evaluator が設定・実行・ロギングを標準化するため、カスタムスクリプトが不要になり、結果の一貫性と監査性が確保されます。

オープン設定

Nemotron 3 Nano のモデルカードで使用された正確な YAML が公開されています。内容は以下を含みます：

  • モデルの推論・デプロイ設定
  • ベンチマークとタスクの選択
  • サンプリング、リピート、プロンプトテンプレートのパラメータ
  • ランタイム制御（並列性、タイムアウト、リトライ）
  • 出力パスとアーティファクト配置

同一 YAML を実行すれば、評価手法は完全に同一になります。

オープンログとアーティファクト

実行後、出力ディレクトリは次の構造になります：

results_nvidia_nemotron_3_nano_30b_a3b/
├── artifacts/
│   └── <task_name>/results.json
└── logs/
    └── stdout.log

これらのファイルにより、スコアリングロジックの検証、予期せぬ結果のデバッグ、実行間の比較が容易になります。

再現性ワークフロー

Nemotron 3 Nano のスコアを再現する手順は次の通りです：

  1. モデルチェックポイントまたはホストエンドポイントを取得する。
  2. GitHub リポジトリから公開されている NeMo Evaluator 設定を取得する。
  3. 単一 CLI コマンド（nemo-evaluator-launcher run …）を実行する。
  4. 生成されたログと results.json を確認し、モデルカードと比較する。

同じワークフローはエンドポイントが利用可能で設定が適切に調整されていれば、任意のモデルでも機能します。

評価スイートの実行例

典型的な実行は以下のようになります：

pip install nemo-evaluator-launcher
export NGC_API_KEY="your-ngc-api-key"
export HF_TOKEN="your-huggingface-token"
export JUDGE_API_KEY="your-judge-api-key"  # judge‑based ベンチマークのみ

nemo-evaluator-launcher run \
  --config /path/to/examples/nemotron/local_nvidia_nemotron_3_nano_30b_a3b.yaml

--dry-run や limit_samples といったオプションでジョブのプレビューやデータセット縮小テストが可能です。

個別ベンチマークの選択

-t フラグで特定タスクだけを実行できます。例：

# MMLU‑Pro のみ実行
nemo-evaluator-launcher run --config … -t ns_mmlu_pro

# コーディングベンチマークのみ実行
nemo-evaluator-launcher run --config … -t ns_livecodebench

結果のモニタリングと検査

nemo-evaluator-launcher status            # ジョブステータス
nemo-evaluator-launcher logs <job-id>    # ログをストリーム表示

構造化された results.json は Nemotron 3 Nano のモデルカードに記載されたスコアと直接比較できます。

スコアの微小な変動の解釈

再現スコアと公開スコアの間に小さな差異が生じるのは、LLM 推論の確率的性質（サンプリング、並列実行、ジャッジの変動など）によるものです。オープン評価の目的は 手法の一貫性 であり、ビット単位での完全一致ではありません。正当な再現を行うために確認すべき点は：

  • YAML 設定が公開版と一致していること
  • 同一のベンチマークバージョンとプロンプトテンプレートを使用していること
  • 正しいモデルエンドポイントとチャットテンプレートが選択されていること
  • ランタイムパラメータ（リピート数、並列性、タイムアウト）が変更されていないこと
  • すべてのアーティファクトとログが揃って正しく構造化されていること

上記条件が満たされていれば、再現結果は参照手法の忠実な表現となります。

AI コミュニティへの影響

Nemotron 3 Nano のオープン評価パッケージは、大規模言語モデルの透明で再現可能なベンチマークへの実践的道筋を示しています。評価パイプラインの全要素を公開することで、NVIDIA は次のことを可能にします：

  • 主張された性能の独立検証
  • プロバイダー間の公平なアップルツーアップル比較
  • 研究・本番向けのスケーラブルで自動化された評価パイプライン
  • ベンチマークカタログ拡張へのコミュニティ貢献

このアプローチは、個別スコアから 評価プロセス自体の信頼性 へ焦点をシフトさせます。

自分で始める手順

  1. NeMo Evaluator リポジトリをクローンする。
  2. nano-v3-reproducibility.md のステップバイステップチュートリアルに従う。
  3. 任意の評価対象モデル（ホストまたはセルフサーブ）に設定を向ける。
  4. スイートを実行し、構造化出力を検査し、結果を共有する。

結論

NVIDIA が Nemotron 3 Nano と完全なオープンソース評価レシピをリリースしたことは、LLM ベンチマークの共有・監査可能な標準への大きな前進です。NeMo Evaluator ライブラリにより、推論バックエンドに依存せずにヘテロジニアスなベンチマークを一貫して実行でき、設定・ログ・結果の完全なプロビナンスが保持されます。この透明性は研究者や開発者が主張を検証し、モデルを信頼性高く比較し、評価パイプラインを大規模に構築する際に、車輪の再発明を防ぎます。

コミュニティに参加しよう – 新しいベンチマークの貢献、問題の報告、機能改善の提案は NeMo Evaluator GitHub リポジトリ で受け付けています。

Sources