NVIDIA Isaac for Healthcare v0.4: 시뮬레이션에서 배포까지 헬스케어 로봇 구축

NVIDIA Isaac for Healthcare v0.4는 데이터 수집, 훈련, 평가 파이프라인을 시뮬레이션과 실제 하드웨어 양쪽에 통합하여 AI 헬스케어 로봇 생성을 가속화하는 개발자 프레임워크를 제공합니다. 이 릴리스는 구체적으로 SO-ARM starter 워크플로를 도입하는데, 이는 MedTech 개발자가 Sim2Real 접근 방식을 사용하여 자율 수술 어시스턴트를 구축하고 검증할 수 있게 합니다.

SO-ARM starter 워크플로: 수술 지원

SO-ARM starter 워크플로는 합성 데이터 생성과 실제 세계 grounding을 결합하여 자율 수술 어시스턴트 개발을 가능하게 합니다. 이 과정은 LeRobot을 통해 데이터를 수집하고, GR00T N1.5 모델을 미세 조정하며, IsaacLab에서 정책을 평가하고, 이를 실제 하드웨어에 배포하는 것을 포함합니다.

기술 구현 파이프라인

이 워크플로는 3단계 파이프라인으로 구성됩니다:

  1. 데이터 수집: SO101 로봇과 LeRobot을 사용하여 혼합된 텔레오퍼레이션 시연을 수집합니다.
  2. 모델 훈련: GR00T N1.5 모델은 듀얼 카메라 비전을 활용한 결합된 데이터셋에서 미세 조정됩니다.
  3. 정책 배포: RTI DDS 통신을 사용하여 실제 하드웨어에서 실시간 추론이 실행됩니다.

시뮬레이션은 이 파이프라인에서 중요한 역할을 하며, 정책 훈련에 사용되는 데이터의 93% 이상이 합성적으로 생성되어 비용이 많이 들고 제한된 실제 세계 데이터에 대한 의존도를 크게 줄입니다.

Sim2Real 혼합 훈련 접근 방식

순수 시뮬레이션(실세계 복잡성이 부족할 수 있음)과 순수 실제 세계 훈련(비용이 많이 듦)의 한계를 극복하기 위해, 워크플로는 혼합 훈련 전략을 사용합니다. 이는 일반적으로 다양한 시나리오와 환경 변화를 다루기 위해 약 70개의 시뮬레이션 에피소드를 포함하고, 진실성과 grounding을 제공하기 위해 10-20개의 실제 세계 에피소드를 결합합니다. 이 결합은 정책이 두 도메인 모두에서 더 효과적으로 일반화되도록 허용합니다.

하드웨어 및 소프트웨어 요구 사항

이 워크플로를 구현하려면 특정 하드웨어 구성이 필요합니다:

  • GPU: GR00T N1.5 추론을 위해 최소 30GB VRAM을 갖춘 Ampere 이상 아키텍처의 RT Core 지원.
  • SO-ARM101 팔로워: 손목 장착 및 방 view 듀얼 카메라 비전을 갖춘 6-DOF 정밀 조작기.
  • SO-ARM101 리더: 전문가 시연을 수집하는 데 사용되는 6-DOF 텔레오퍼레이션 인터페이스.

통합된 설정을 찾는 개발자를 위해, 모든 시뮬레이션, 훈련, 배포 작업은 단일 DGX Spark 워크스테이션에서 실행할 수 있습니다.

엔드-투-엔드 Sim Collect–Train–Eval 파이프라인

IsaacLab v0.3 릴리스와 함께, 프레임워크는 수집, 훈련, 평가, 배포의 완전한 루프를 지원합니다:

  • 합성 데이터 생성: 개발자는 키보드 또는 하드웨어 컨트롤러를 통해 로봇을 텔레오퍼레이션하여 다중 카메라 관찰과 로봇 상태를 캡처하고, 실제 환경에서 수집하기 unsafe한 edge cases를 포함하는 데이터세트를 생성합니다.
  • 정책 훈련 및 평가: 프레임워크는 PPO 훈련을 위한 Isaac Lab의 RL 프레임워크와 통합되어 통계적 검증 및 궤적 분석을 위해 수천 개의 병렬 시뮬레이션을 지원합니다.
  • TensorRT 변환: 모델은 TensorRT를 통해 프로덕션 배포에 자동으로 최적화되어 실시간 성능을 보장하기 위해 다중 카메라 추론 및 동적 형태를 지원합니다.

시작하기 및 구현

개발자는 i4h-workflows 저장소를 클론하고 제공된 자동 설정 스크립트(예: tools/env_setup_so_arm_starter.sh)를 사용하여 수술 어시스턴트 워크플로를 구현할 수 있습니다.

주요 리소스

Sources