NVIDIA Isaac for Healthcare v0.4: シミュレーションから導入までのヘルスケアロボットの構築

NVIDIA Isaac for Healthcare v0.4は、シミュレーションと物理ハードウェアの両方でデータ収集、トレーニング、評価パイプラインを統合することにより、AIヘルスケアロボティクスの作成を加速する開発者フレームワークを提供します。このリリースでは、MedTech開発者がSim2Realアプローチを使用して自律型手術アシスタントを構築および検証できるSO-ARMスターターワークフローが特に導入されます。

手術支援のためのSO-ARMスターターワークフロー

SO-ARMスターターワークフローは、合成データ生成と現実世界のグラウンディングを組み合わせることにより、自律型手術アシスタントの開発を可能にします。このプロセスは、LeRobotを介したデータ収集、GR00T N1.5モデルのファインチューニング、IsaacLabでのポリシー評価、および物理ハードウェアへのデプロイを含みます。

テクニカル実装パイプライン

ワークフローは3段階のパイプラインとして構造化されています：

  1. データ収集: SO101ロボットとLeRobotを使用して、混合テレオペレーションデモンストレーションが収集されます。
  2. モデルトレーニング: GR00T N1.5モデルは、デュアルカメラビジョンを利用した結合データセット上でファインチューニングされます。
  3. ポリシーデプロイ: RTI DDS通信を使用して、物理ハードウェア上でリアルタイム推論が実行されます。

シミュレーションはこのパイプラインにおいて重要な役割を果たします；ポリシートレーニングに使用されるデータの93%以上が合成生成され、これにより高価で限られた実際のデータへの依存が大幅に削減されます。

Sim2Real混合トレーニングアプローチ

純粋なシミュレーション（実際の世界の複雑さが欠ける可能性がある）と純粋な実際の世界トレーニング（コストが高い）の制限を克服するため、ワークフローは混合トレーニング戦略を採用します。これは通常、多様なシナリオと環境変動をカバーするために約70のシミュレーションエピソードを含み、それに加えて10〜20の実際の世界エピソードを組み合わせて真正性とグラウンディングを提供します。この組み合わせにより、ポリシーは両方のドメインにおいてより効果的に一般化できるようになります。

ハードウェアとソフトウェアの要件

このワークフローを実装するには、特定のハードウェア構成が必要です：

  • GPU: GR00T N1.5の推論に少なくとも30GBのVRAMを備えたRT Core対応アーキテクチャ（Ampere以降）。
  • SO-ARM101 フォロワー: 手首取り付けおよび部屋ビューのデュアルカメラビジョンを備えた6-DOF精密マニピュレーター。
  • SO-ARM101 リーダー: エキスパートデモンストレーションの収集に使用される6-DOFテレオペレーションインターフェース。

統合されたセットアップを求める開発者のために、すべてのシミュレーション、トレーニング、デプロイメントタスクは単一のDGX Sparkワークステーションで実行できます。

エンドツーエンド Sim Collect–Train–Eval パイプライン

IsaacLabのv0.3リリースにより、フレームワークは収集、トレーニング、評価、デプロイメントの完全なループをサポートします：

  • 合成データ生成: 開発者はキーボードまたはハードウェアコントローラーを介してロボットをテレオペレートし、マルチカメラ観測とロボット状態をキャプチャして、実際の環境では収集が危険なエッジケースを含むデータセットを作成できます。
  • ポリシートレーニングと評価: フレームワークは、統計的検証と軌道分析のために数千の並列シミュレーションをサポートするPPOトレーニング用のIsaac LabのRLフレームワークと統合されます。
  • TensorRT変換: モデルはTensorRTを介して本番デプロイメント向けに自動的に最適化され、マルチカメラ推論と動的形状をサポートしてリアルタイムパフォーマンスを確保します。

始め方と実装

開発者は、i4h-workflows リポジトリをクローンし、提供された自動セットアップスクリプト（例: tools/env_setup_so_arm_starter.sh）を使用して、手術アシスタントワークフローを実装できます。

主なリソース

Sources