NVIDIA-NeMo/Skills

何を解決するか

Nemo-Skills は、大規模言語モデルの特定の能力（"スキル"）を向上させるための一連の統合パイプラインを提供します。合成データ生成、モデルトレーニング、包括的な評価を含む、LLM開発の全ライフサイクルを簡素化し、単一のローカルワークステーションから大規模なSlurmクラスタまで、最小限の構成変更でワークフローをスケーリングできるようにします。

動作方法

このプロジェクトは、さまざまなツールとプロセスを統合するパイプラインのコレクションとして動作します。

• 推論: APIプロバイダー、ローカルサーバー、大規模クラスタジョブの間で切り替える柔軟なLLM推論をサポートします。高性能エンジンである TensorRT-LLM、vLLM、sglang、Megatron と統合されています。
• 評価: 数学（自然および形式的）、コード、科学的知識、指示追従、長文コンテキスト、ツールコール、多言語対応、視覚言語タスクをカバーする幅広いベンチマークに対するモデル実行を可能にするフレームワークを提供します。
• トレーニング: NeMo-RL および verl との統合により、モデルトレーニングを可能にします。
• データ生成: 数千のGPUにスケーラブルな合成データ生成（SDG）を支援します。

対象ユーザー

高パフォーマンスなLLMの構築、チューニング、評価に取り組むAI研究者および開発者向けに設計されています。特に、ローカルプロトタイピングから大規模GPUクラスタへのスケーリングを必要とする環境で作業する方々に適しています。

主な特徴

• スケーラブルなインフラ: 1行の変更でローカルマシンからSlurmクラスタへ移行可能。
• 広範なベンチマーク対応: 形式的な数学、コーディング、科学的推論など、多様な分野の組み込み評価。
• 柔軟な推論: vLLM、TensorRT-LLM など複数の業界標準推論エンジンとの互換性。
• 研究志向: OpenReasoning や OpenMathReasoning などのSOTAオープンウェイトモデルやデータセットの作成・公開に使用されています。