NVIDIA Isaac for Healthcare v0.4 リリース

NVIDIAは、データ収集、トレーニング、評価パイプラインをシミュレーションと物理ハードウェアの両方にわたって統合することにより、AI搭載医療ロボットの作成を加速するために設計された開発者フレームワークであるIsaac for Healthcare v0.4をリリースしました。このフレームワークは、仮想環境でワークフローを設計および検証できるようにすることにより、医療ロボットにおける過去のデータギャップに対処し、プロトタイピング時間を月単位から日単位に短縮します。

SO-ARM スターターワークフロー 外科手術支援向け

SO-ARM スターターワークフローは、具現化された外科手術アシスタントを構築するための完全なエンドツーエンドパイプラインを提供します。このプロセスにより、開発者は安全で再現可能な環境でデータを収集し、モデルをポストトレーニングし、ハードウェアにデプロイすることができます。

技術的実装

このワークフローは、3段階のパイプラインを利用します：

  1. データ収集: SO-101ロボットとLeRobotを使用した、シミュレーションと実際の世界のテレオペレーションデモンストレーションの混合。
  2. モデルトレーニング: デュアルカメラビジョンを利用した結合データセット上でのGR00T N1.5モデルのポストトレーニング。
  3. ポリシーデプロイ: RTI DDS通信を使用した物理ハードウェアでのリアルタイム推論。

特に注目すべきは、ポリシートレーニングに使用されたデータの93%以上がシミュレーションで合成生成されており、これがロボットデータギャップを埋めるシミュレーションの有効性を示しています。

シミュレーションから実際への混合トレーニング アプローチ

実際の世界のトレーニングコストと純粋なシミュレーションの制限のバランスを取るため、このワークフローは混合トレーニング戦略を採用します。このアプローチは通常、多様なシナリオと環境変化のための約70のシミュレーションエピソードと、真正性と基盤を提供するための10〜20の実際の世界のエピソードを組み合わせ、これにより両方のドメインにわたってより効果的に一般化するポリシーが生成されます。

ハードウェアとソフトウェアの要件

ワークフローをデプロイするには、特定のハードウェア構成が必要です：

  • GPU: GR00T N1.5の推論に少なくとも30GBのVRAMを備えた、Ampereアーキテクチャ以降（RT Core対応）。
  • SO-ARM101 フォロワー: 手首取り付けおよび室内カメラのデュアルカメラビジョンを備えた6-DOF精密マニピュレーター。
  • SO-ARM101 リーダー: エキスパートデモンストレーションの収集に使用される6-DOFテレオペレーションインターフェース。

物理ハードウェアを持っていないユーザーのために、このフレームワークはシミュレーションデータ収集のためのキーボードベースのテレオペレーションをサポートします。すべてのシミュレーション、トレーニング、およびデプロイメントタスクは、単一のDGX Sparkワークステーションで実行できます。

エンドツーエンド シミュレーション収集-トレーニング-評価 パイプライン

Isaac Labは、実験から本番への移行を合理化するため、データ収集、トレーニング、評価、デプロイメントの継続的なループをサポートします。

合成データ生成

開発者は、キーボードまたはハードウェアコントローラーを介してロボットをテレオペレートすることで合成データを生成でき、マルチカメラ観測、ロボットの状態、およびアクションをキャプチャします。これにより、実際の医療環境では収集が危険なエッジケースを含むデータセットを作成することが可能になります。

ポリシートレーニングと評価

トレーニングは、PPOトレーニングのためのIsaac LabのRLフレームワークと統合されており、数千の並列シミュレーションを同時に実行できるようになります。システムには、さまざまなシナリオにわたる統計的検証のための組み込まれた軌道分析と成功メトリクスが含まれています。

TensorRT 最適化

モデルは、本番デプロイのためにTensorRTに変換され、自動最適化、動的シェイプのサポート、およびマルチカメラ推論を提供します。リアルタイムパフォーマンスを確認するためのベンチマークツールが含まれています。

使い始めとリソース

Isaac for Healthcare SO-ARM スターターワークフローは、i4h-workflows GitHub リポジトリを介して利用できます。ユーザーは、リポジトリをクローンし、自動セットアップスクリプト（例: tools/env_setup_so_arm_starter.sh）を実行することで開始できます。

主要なリソースには次のものがあります：

  • GitHub リポジトリ: ワークフローの完全な実装。
  • ドキュメント: セットアップと使用ガイド。
  • GR00T モデル: Hugging Face で利用可能な事前トレーニング済みの基盤モデル。
  • LeRobot: エンドツーエンドのロボット学習リポジトリ。

Sources