NVIDIA Nemotron 3.5 Lightning 출시

NVIDIA Nemotron 3.5 Lightning를 이제 Ollama에서 사용할 수 있습니다. 이를 통해 로컬 에이전트 워크플로우를 위해 특별히 설계된 300억 개의 파라미터를 가진 오픈 모델을 배포할 수 있습니다. 이 모델은 도구 호출(tool calling) 및 컨텍스트 수집과 같은 다단계 작업을 위해 최적화되어 있어, 개발자가 로컬 하드웨어에서 고성능 에이전트를 실행하여 데이터 프라이버시를 보장하고 지연 시간을 줄일 수 있습니다.

모델 아키텍처 및 기술 사양

Nemotron 3.5 Lightning는 하이브리드 Mixture-of-Experts (MoE) 아키텍처를 활용하며, 총 300억 개의 파라미터를 보유하고 있지만 토큰당 활성 파라미터는 30억 개에 불과합니다. 이러한 설계 덕분에 모델은 더 큰 모델의 성능을 유지하면서도 NVIDIA RTX PC, RTX PRO 워크스테이션, DGX Spark, DGX Station 및 클라우드 환경을 포함한 로컬 시스템에서 실행될 수 있을 만큼 효율적입니다.

주요 기술 사양은 다음과 같습니다:

• Context Window: 최대 100만 토큰의 컨텍스트 길이를 제공하여 다회차 워크플로우에서 광범위한 도구 이력을 위한 충분한 공간을 제공합니다.
• Inference Optimization: 모델은 multi-token prediction (MTP), DFlash 또는 DSpark를 통한 speculative decoding을 채택하여, 유사한 오픈 모델과 비교했을 때 최대 4배 더 높은 처리량을 제공합니다.
• Customization: 오픈 데이터셋으로 학습된 오픈 모델로서, Nemotron 3.5 Lightning는 전문화된 작업을 위한 사후 학습(post-training)을 지원합니다.

에이전트 기능 및 사용 사례

Nemotron 3.5 Lightning는 코딩, 도구 호출, 지시 사항 이행 및 다회차 작업을 중심으로 에이전트 하네스(agent harnesses)를 위해 특별히 학습되었습니다. 파일 읽기, 도구 호출, 실패한 단계 재시도와 같이 에이전트가 순차적 작업을 수행하기 위해 활성 상태를 유지해야 하는 워크로드에 최적화되어 있습니다.

주요 사용 사례는 다음과 같습니다:

• Local Personal Assistants: 데이터를 외부로 전송하지 않고 로컬 컨텍스트를 사용하여 이메일, 캘린더 및 예약을 관리합니다.
• Coding Sub-agents: 기존 개발자 하네스 내에서 테스트를 실행하고, 코드베이스를 검색하며, 리팩토링을 적용합니다.
• uma Security Operations: 경고를 보강하고, 사고를 분류하고, 로그를 쿼리하며, 분석가를 위해 구조화된 조사 결과를 준비합니다.
• Hybrid Cloud Tiers: 동일한 CLI 및 API를 통해 복잡한 task를 더 큰 호스팅된 모델로 라우팅하는 동시에, 대량의 단계를 로컬에서 처리하는 로컬 티어 역할을 수행합니다.
• Specialized Local Models: 로컬 실행을 위한 좁고 도메인 특화된 작업을 위한 사후 학습의 기반으로 활용됩니다.

성능 벤치마크

Nemotron 3.5 Lightning는 유사한 크기의 선도적인 오픈 모델들과 비교하여 상당한 효율성 이득을 얻었습니다. 4배 더 높은 처리량과 30% 더 빠른 작업 완료 시간을 제공합니다. NVIDIA에 따르면, 높은 처리량은 장시간 실행되는 에이전트에게 매우 중요합니다. 분당 완료되는 단계의 수를 늘려 복잡한 작업에 필요한 총 시간을 단축시키기 때문입니다입니다.

Ollama를 통한 배포

Nemotron 3.5 Lightning는 Ollama를 사용하여 로컬에서 배포할 수 있습니다. Apple silicon 사용자의 경우, 최적화된 성능을 위해 특화된 버전(nemotron-3.5-lightning:30b-mlx)을 사용할 수 있습니다.

사용자는 일반 채팅을 통해 모델을 모델을 실행하거나 ollama launch 명령어를 사용하여 Claude Code, OpenClaw, Hermes Agent, OpenCode와 같은 다양한 도구와 통합할 수 있습니다.