NVIDIA Cosmos3-H-Dreams: 臨床手術のための生成的シミュレーション

NVIDIA Cosmos3-H-Dreamsは、臨床手術の視覚的・手技的な複雑さに対してインタラクティブな生成的シミュレーションを導入し、実際の臨床手技から直接視覚ダイナミクスを学習することで、これまでで最も説得力のある体内映像を実現します。

卓上タスクから臨床シーンへ

体内手術では、単純な背景の動きを超えた複雑で動的な応答を捉える生成的シミュレータが必要であり、現実的なシミュレーションには時間的一貫性が不可欠です。

制御された卓上環境では、器具は単純な背景に対して動作します。しかし、人体内部では、小さな器具の動きが、牽引下での組織の伸張、反射の変化、構造の遮蔽、煙の視認性の変化など、大規模な変化を引き起こします。

インタラクティブな環境として機能するには、生成されたシーンは、特定の制御に従いながら、解剖学的構造と器具を保存して忠実性を維持する必要があります。つまり、並進、回転、グリッパーコマンドは、単にそれらしく見えるビデオだけでなく、一貫した解剖学的結果を生成しなければなりません。

Cosmos3-H-Dreamsは、臨床的胆嚢摘出術に特化し、リアルタイム動作向けに蒸留されたモデルを活用することで、この複雑な環境での低遅延生成の要件に対処し、複雑な解剖学的構造、組織の動き、遮蔽を伴うシーン内でのアクション条件付きインタラクションを可能にします。

Cosmos3-H-Dreamsの主要な技術的進歩

Cosmos3-H-Dreamsは、実世界の臨床データでトレーニングし、リアルタイムパフォーマンス向けにモデルを最適化することで、従来の卓上シミュレータからの大きな飛躍を表しています。

基盤と制御構造

Cosmos3-H-Dreamsは、Cosmos3-H-Embodied-Nanoの改良版である特殊な双方向ティーチャーモデルに基づいています。この基盤は、Open-H-Embodimentデータセットで事前トレーニングされた160億パラメータのモデルです。

このモデルは、2つの可視で係合した器具（左のCadiere把持鉗子と右の単極フック）に焦点を当てることで、臨床的胆嚢摘出術に特化しています。このモデルは、両アームのポーズとグリッパー情報、エネルギー制御、サムスティック軸、サムスティックボタンを含む28のアクション次元をサポートしています。

ティーチャーから生徒へのトレーニングパイプライン

このシステムは、長い自己回帰ロールアウトを処理しながら、高速でインタラクティブな生成を維持するように設計された、洗練されたティーチャーから生徒へのトレーニングパイプラインを採用しています。

  1. ティーチャートレーニング: 双方向ティーチャーモデルは、まず24フレームの将来フレームに適応され、その後、学習期間が72フレーム（10Hzで2.4〜7.2秒）に延長され、ティーチャーが包括的な手術ダイナミクスを学習できるようにします。
  2. 蒸留: 蒸留により、双方向ティーチャーが、新しいアクションが到着するにつれて短いブロックでビデオを生成できる因果的スチューデントモデルに変換されます。因果的ティーチャーフォーシングは、記録されたコンテキストを使用して、逐次生成に備えてスチューデントを準備します。
  3. エラー軽減: Self-Forcingは、ティーチャーと学習された批評家に導かれ、スチューデント自身が生成したコンテキストでトレーニングします。このプロセスは、インタラクティブなロールアウト中のエラー蓄積を軽減するために重要です。

最初にリリースされた学生チェックポイントは、生成ブロックごとに4つのノイズ除去ステップを使用し、2番目のリリースチェックポイントは2ステップのスケジュールを使用します。2ステップモデルは別途トレーニングされており、開発者は視覚品質と推論コストのバランスを取ることができます。

リアルタイムストリーミング推論

インタラクティブなパフォーマンスを達成するために、Cosmos3-H-Dreamsは、NVIDIAの高速ストリーミング推論ライブラリであるFlashDreamsと、適応されたFadeMemモジュールを統合しています。

FlashDreamsは高速化されたストリーミングランタイムを提供し、FadeMemモジュールは長いロールアウト中に増大するキー/バリューキャッシュを統合します。このキャッシュ統合はSelf-Forcingを補完し、ストリーミング生成プロセス中にモデルの履歴がどのように保存されるかに対処します。

Cosmos3-H-Dreamsは、単一のNVIDIA RTX PRO 6000 GPU上でインタラクティブに動作します。

能力と一般化

Cosmos3-H-Dreamsは、トレーニングデータを超えて一般化するように設計されており、未見の動きで条件付けられた場合でも一貫したフレームを生成できます。

このシミュレータは、同じ初期フレームから開始しても、器具の制御が同じシーンの異なる継続を導き、物理的に正確な組織変形を示すことを実証しています。これらのロールアウトにより、研究者は、器具が制御に従うかどうか、組織がインタラクションに一貫して応答するかどうか、解剖学的構造と器具の外観が時間経過とともに一貫しているかどうかを検査できます。

さらに、このシステムは新しいデータセットや実施形態に適応可能です。新しいコントローラがトレーニングデータと同じアクション規約と正規化を使用する場合、カスタムデータでのファインチューニングとSelf-Forcing蒸留のための完全なレシピが提供されます。

将来の研究方向と限界

Cosmos3-H-Dreamsは明示的に研究用シミュレータであり、患者ケア用の検証済みシステムではありません。現在の機能は、いくつかの重要な研究方向を開きます：

  • 手技の拡張: 完全な胆嚢摘出術を体系的にモデル化するためのカバレッジと時間的一貫性の拡張。明確なタスク境界と成功基準を定義します。
  • ハイブリッドモデリング: 学習された視覚的リアリズムと、数値シミュレーションによる明示的な幾何学、接触、組織力学を組み合わせます。数値モデルは変形を制約し検証でき、シミュレーションの動作を検査可能にします。
  • 臨床的検証: 外科医からの専門的フィードバックを通じて解剖学的正確性、器具の動作、組織応答を評価し、再現可能なベンチマークの作成に使用できます。
  • 高度なインタラクション: 2つの制御されたツールを超えて、複数の器具間のより豊かな協調、遮蔽、インタラクションをサポートします。
  • 自律性: ワールドアクションモデルをCosmos3-H-Dreamsに閉ループで結合し、ポリシーが定義された胆嚢摘出術のサブタスクを学習できるようにします。

はじめに

開発者は、以下のリソースを使用してCosmos3-H-Dreamsのモデル、データ、およびランタイムを探索できます：

  • コードと例: Cosmos3-H-Dreamsの完全なGitHubリポジトリ。
  • モデルチェックポイント: Cosmos3-H-Dreamsの公式Hugging Faceチェックポイント。
  • 適応ガイド: カスタムデータセットでのティーチャーファインチューニングとSelf-Forcing蒸留のプロセスを詳述したステップバイステップガイド。
  • コアコンポーネント: Open-H-Embodimentデータセット、FlashDreamsランタイム、NVIDIA Cosmos 3リポジトリへのアクセス。

SUMMARY: NVIDIA Cosmos3-H-Dreamsは、実際の臨床手技の記録から直接視覚ダイナミクスを学習することで、臨床的胆嚢摘出術のインタラクティブで高忠実度なシミュレーションを可能にする生成的 Surgical シミュレータです。

TITLE: NVIDIA Cosmos3-H-Dreams: 臨床手術のための生成的シミュレーション

Sources