NVIDIA Nemotron Voice Agentとインタラクティブキャラクター向けオープンモデル

MonsterHouseの概要

MonsterHouseは、NVIDIA AIツールスイートを活用したインタラクティブな音声応答型インスタレーションであり、来場者の声を聞き、会話をし、反応することができるキャラクターを実現しています。このプロジェクトは、音声認識、小型言語モデル（SLM）、テキスト読み上げ（TTS）、および3Dフェイシャルアニメーションを統合し、自己完結型で低遅延の会話エージェントを作成するNVIDIA Nemotron Voice Agentの能力を実証しています。

技術スタック

このシステムは、知覚からアニメーションに至るまで、対話の全ライフサイクルを処理するために複数の専門モデルを調整しています。

  • 聴覚: NVIDIA Nemotron Speech ASR（ストリーミング）が来場者の音声をテキストに変換します。
  • 思考: オープンな小型言語モデルであるNVIDIA Nemotron 3.5 Bolt E4B 4GBが応答を生成します。カスタムLoRAアダプターがキャラクターの個性を付与します。
  • 発話: NVIDIA Magpie TTS Zeroshotが短い参照サンプルから音声を生成し、感情豊かな表現を可能にします。
  • アニメーション: NVIDIA Audio2Face-3Dが生成された音声をUnreal Engine 5内のフェイシャルアニメーションに変換します。
  • 視覚: NVIDIA Nemotron 3 Nano Omniが視覚的なコンテキストを提供し、YOLOとByteTrackが来場者のカウントと追跡を行います。

パフォーマンスと最適化

応答性の高い体験を保証するため、システムは応答生成に対してハイブリッドなアプローチを採用しています。一般的なセリフをキャッシュし、音声を事前合成することで、キャッシュされた応答の音声終了から音声出力までのレイテンシの中央値は0.72秒を達成しました（ライブ生成応答の場合は1.70秒）。パイプラインは2つのGPUに分散されており、エージェントロジック用にNVIDIA RTX PRO 6000 Blackwell Max-Q、Unreal Engineのレンダリング用にNVIDIA RTX PRO 4000 Blackwellを使用することで、安定したフレームレートと視聴覚の同期を維持しています。

実装戦略

同様のインタラクティブキャラクターを構築しようとしている開発者には、以下のワークフローが推奨されます。

  1. パイプラインの基盤: NVIDIA Nemotron Voice Agentから開始し、音声活動検出と発話処理のコアロジックを構築します。
  2. モデルの選択: ローカルの会話エージェント向けに設計されており、大規模モデルよりもフットプリントが小さいBolt E4Bをメインの頭脳として活用します。
  3. 個性の調整: 基本的な動作にはシステムプロンプトと対話例を使用します。より複雑なキャラクター特性が必要な場合は、NVIDIA NeMo AutoModelレシピを使用してLoRAアダプターをトレーニングします。
  4. 音声とアニメーション: ゼロショット音声調整にはMagpie TTS Zeroshotを適用し、3Dキャラクターリグの駆動にはAudio2Face-3Dを使用します。アニメーションにはクリーンな音声を使用し、ボーカルエフェクトは別のオーディオストリームとして適用する必要があります。
  5. 視覚的コンテキスト: キャラクターが環境や特定の視覚的入力を認識する必要がある場合は、Nemotron 3 Nano Omniのような視覚言語モデルを統合します。

Sources