NVIDIA Nemotron Voice Agent 및 인터랙티브 캐릭터를 위한 오픈 모델

MonsterHouse 개요

MonsterHouse는 NVIDIA AI 도구 모음을 사용하여 방문자의 말을 듣고 대화하며 반응할 수 있는 캐릭터를 구현한 인터랙티브 음성 반응형 설치 작품입니다. 이 프로젝트는 음성 인식, 소형 언어 모델(SLM), 텍스트 음성 변환(TTS) 및 3D 얼굴 애니메이션을 통합하여 독립적이고 지연 시간이 짧은 대화형 에이전트를 생성하는 NVIDIA Nemotron Voice Agent의 기능을 보여줍니다.

기술 스택

이 시스템은 인식부터 애니메이션까지 상호작용의 전체 수명 주기를 처리하기 위해 여러 전문 모델을 조정합니다.

  • 듣기: NVIDIA Nemotron Speech ASR(스트리밍)이 방문자의 음성을 텍스트로 변환합니다.
  • 생각하기: 오픈 소형 언어 모델인 NVIDIA Nemotron 3.5 Bolt E4B 4GB가 응답을 생성합니다. 사용자 지정 LoRA 어댑터가 캐릭터의 성격을 부여합니다.
  • 말하기: NVIDIA Magpie TTS Zeroshot이 짧은 참조 샘플에서 음성을 생성하여 뚜렷한 감정 전달을 가능하게 합니다.
  • 애니메이션: NVIDIA Audio2Face-3D가 생성된 음성을 Unreal Engine 5 내의 얼굴 애니메이션으로 변환합니다.
  • 보기: NVIDIA Nemotron 3 Nano Omni가 시각적 맥락을 제공하며, YOLO와 ByteTrack이 방문자 수 계산 및 추적을 처리합니다.

성능 및 최적화

반응형 경험을 보장하기 위해 시스템은 응답 생성에 하이브리드 접근 방식을 사용합니다. 일반적인 대사를 캐싱하고 오디오를 미리 합성함으로써, 시스템은 캐시된 응답에 대해 0.72초의 중간 음성 종료-오디오 지연 시간을 달성하며, 이는 실시간 생성 응답의 1.70초와 비교됩니다. 파이프라인은 에이전트 로직을 위한 NVIDIA RTX PRO 6000 Blackwell Max-Q와 Unreal Engine 렌더링을 위한 NVIDIA RTX PRO 4000 Blackwell이라는 두 개의 GPU에 분산되어 일관된 프레임 속도와 시청각 동기화를 유지합니다.

구현 전략

유사한 인터랙티브 캐릭터를 구축하려는 개발자를 위해 다음과 같은 워크플로우를 권장합니다.

  1. 파이프라인 기반: NVIDIA Nemotron Voice Agent로 시작하여 음성 활동 감지 및 발화 처리의 핵심 로직을 처리합니다.
  2. 모델 선택: Bolt E4B를 기본 두뇌로 활용하십시오. 이 모델은 로컬 대화형 에이전트를 위해 특별히 제작되었으며 더 큰 모델보다 설치 공간이 작습니다.
  3. 성격 튜닝: 기본적인 행동을 위해 시스템 프롬프트와 예시 대화를 사용하십시오. 더 복잡한 캐릭터 특성을 위해서는 NVIDIA NeMo AutoModel 레시피를 사용하여 LoRA 어댑터를 학습시키십시오.
  4. 음성 및 애니메이션: 제로샷 음성 조절을 위해 Magpie TTS Zeroshot을 적용하고 Audio2Face-3D를 사용하여 3D 캐릭터 릭을 구동하십시오. 애니메이션에는 깨끗한 음성을 사용하고, 보컬 효과는 별도의 오디오 스트림으로 적용해야 합니다.
  5. 시각적 맥락: 캐릭터가 환경이나 특정 시각적 입력에 대한 인식이 필요한 경우 Nemotron 3 Nano Omni와 같은 시각-언어 모델을 통합하십시오.

Sources