NVIDIA Nemotron 3.5 Lightning リリース

NVIDIA Nemotron 3.5 Lightning が Ollama で利用可能になりました。これにより、ローカルの自律型エージェント（agentic workflows）向けに特別に設計された 300億パラメータのオープンモデルのデプロイが可能になります。このモデルは、ツール呼び出しやコンテキスト収集などのマルチステップ・タスクに最適化されており、開発者がローカルハードウェア上で高性能なエージェントを実行することで、データのプライバシーを確保し、レイテンシを低減することを可能にします。

モデルアーキテクチャと技術仕様

Nemotron 3.5 Lightning は、ハイブリッド Mixture-of-Experts (MoE) アーキテクチャを採用しており、総パラメータ数は 300億ですが、トークンあたりのアクティブなパラメータ数はわずか 30億です。この設計により、モデルはより大規模なモデルの能力を維持しつつ、NVIDIA RTX PC、RTX PRO ワークステーション、DGX Spark、DGX Station、およびクラウド環境を含むローカルシステム上で実行可能なほど効率的であり続けます。

主な技術仕様は以下の通りです：

• Context Window: 最大 100万トークンのコンテキスト長を提供し、マルチターン・ワークフローにおける広範なツール履歴のための十分なスペースを提供します。
• Inference Optimization: このモデルは、multi-token prediction (MTP)、DFlash、または DSpark を介した投機的デコーディング（speculative decoding）を採用しており、同様のオープンモデルと比較して最大 4倍の高いスループットを実現します。
• Customization: オープンデータセットでトレーニングされたオープンモデルとして、Nemotron 3.5 Lightning は専門的なタスクのためのポストトレーニングをサポートしています。

エージェント機能とユースケース

Nemotron 3.5 Lightning は、コーディング、ツール呼び出し、指示への追従、およびマルチターン作業に焦点を当てた、エージェント・ハーネス（agent harnesses）向けに特別にトレーニングされています。ファイルの読み取り、ツールの呼び出し、失敗したステップの再試行など、エージェントが連続的な操作を実行するためにアクティブであり続ける必要があるワークロードに最適化されています。

主なユースケースは以下の通りです：

• Local Personal Assistants: データを外部に送信することなく、ローカルのコンテキストを使用してメール、カレンダー、および予約を管理します。
• Coding Sub-agents: 既存の開発者用ハーネス内で、テストの実行、コードベースの検索、およびリファクタリングの適用を行います。
• uma Security Operations: アラートの強化、インシデントの分類、ログのクエリ、およびアナリスト向けの構造化された調査結果の準備を行います。
• Hybrid Cloud Tiers: 同一の CLI と API を介して、大量のステップをローカルで処理するローカル・ティアとして機能し、複雑なタスクはより大規模なホスト型モデルへルーティングします。
• Specialized Local Models: ローカル実行のための、狭いドメイン固有のジョブに対するポストトレーニングのベースとして機能します。

パフォーマンス・ベンチマーク

Nemotron 3.5 Lightning は、同規模の主要なオープンモデルと比較して、大幅な効率性の向上を示しています。4倍の高いスループットと 30% 速いタスク完了時間を提供します。NVIDIA によると、高いスループットは長時間実行されるエージェントにとって極めて重要です。なぜなら、1分間に完了できるステップ数が増え、それによって複雑なタスクに必要な総時間を短縮できるからです。また、このモデルは、推論、コーディング、およびエージェント機能において、トップクラスの精度を維持しています。

Ollama によるデプロイ

Nemotron 3.5 Lightning は、Ollama を使用してローカルにデプロイできます。Apple silicon ユーザー向けには、最適化されたパフォーマンスを実現する専用バージョン (nemotron-3.5-lightning:30b-mlx) が用意されています。

ユーザーは、一般的なチャットを通じてモデルを実行するか、ollama launch コマンドを使用して、Claude Code、OpenClaw、Hermes Agent、および OpenCode といった様々なツールと統合することができます。