NVIDIA Nemotron ポストトレーニングデータセット v2 と Nemotron Nano 2 9B リリース

NVIDIAは、Nemotron Post-Training Dataset v2（600万件の多言語推論例のコレクション）とNemotron Nano 2 9Bモデルをリリースしました。このリリースは、高品質なトレーニングデータと、精度とコストのバランスを取るために設定可能な思考予算を備えた効率的なエッジ対応モデルを提供することで、オープンウェイトモデルエコシステムを支援することを目的としています。

Nemotron Nano 2 9B モデル仕様

Nemotron Nano 2 9Bは、エッジおよびRTX展開向けに設計されており、特に分析コパイロット、サポートチャットボット、カスタマーサービスエージェントを対象としています。

技術アーキテクチャとパフォーマンス

  • ハイブリッドアーキテクチャ: このモデルはハイブリッドTransformer–Mambaアーキテクチャ（Mamba-2と限定的な注意層の組み合わせ）を使用しており、同等サイズのTransformerのみのモデルと比較してスループットが向上します。
  • スループット: このモデルは、同じ9Bパラメータサイズクラスの他の主要モデルと比較して、最大で6倍高いトークン生成スループットを実現します。
  • コスト最適化: 設定可能な「思考予算」により、ユーザーは使用する推論トークン数を制御でき、推論コストを最大60%削減できます。
  • ライセンス: このモデルは nvidia-open-model-license の下でリリースされています。

Nemotron ポストトレーニングデータセット v2 の構築

Nemotron Post-Training Dataset v2は、元の英語の推論データをフランス語、スペイン語、ドイツ語、イタリア語、そして日本語の5つの対象言語に翻訳した600万件の推論例で構成されています。

翻訳手法

事前学習で取得した英語の知識を活用するため、NVIDIAはユーザープロンプトとモデル応答を翻訳し、元の英語の推論チェーンは保持しました。翻訳プロセスでは、ドイツ語に Qwen2.5-32B-Instruct-AWQ、他の言語に Qwen2.5-14B-Instruct を使用しました。これらは高品質で、オープンなApache 2.0ライセンスを持ち、単一のA100 GPUに収まる点が選定理由です。

品質管理とハルシネーション緩和

NVIDIAは、標準的な機械翻訳セットと比較して、SFT（Supervised Fine-Tuning）データセットを翻訳する際にLLMがハルシネーションを起こしやすく、入力長が増えると品質が低下することを確認しました。これを緩和するため、以下の仕組みを実装しました。

  • 行単位の翻訳: 文は改行で分割され、翻訳できない行（タブなど）やコードブロックは翻訳せずに保持されます。
  • フォーマット強制: 翻訳は特定の括弧（– –）で囲む必要があります。この形式に従わない例は破棄されます。
  • 言語識別: fastText 言語IDツールをプロンプト入力に使用し、対象外データを除外します。このプロセスにより、55,567例（全多言語例の約1.1%）が削除されました。

フォーマット強制によるデータ破棄率

以下の表は、出力フォーマットの強制により破棄されたデータの比率（バイト数で測定）を示しています。

言語 コード QA 数学
German (de) 2.28% 1.11% 2.47%
Spanish (es) 26.14% 5.15% 6.38%
French (fr) 11.01% 1.37% 1.96%
Italian (it) 4.94% 1.36% 0.75%
Japanese (ja) 7.68% 2.51% 3.86%

入手方法

Nemotron Post-Training Dataset v2はHugging Faceで入手可能です。Nemotron Nano 2 9Bモデルの重みもHugging Faceでホストされており、エンドポイントは build.nvidia.com を通じて、また低遅延・高スループット要件向けにNVIDIA NIMとして利用できます。

Sources