NVIDIA Isaac for Healthcare v0.4 출시
NVIDIA는 AI 기반 의료 로봇 개발을 가속화하기 위해 데이터 수집, 훈련, 평가 파이프라인을 시뮬레이션과 실제 하드웨어 전반에 통합한 개발자 프레임워크인 Isaac for Healthcare v0.4를 출시했습니다. 이 프레임워크는 가상 환경에서 워크플로를 설계하고 검증함으로써 의료 로봇의 과거 데이터 격차를 해소하고, 프로토타입 제작 시간을 개월에서 일로 단축합니다.
SO-ARM 스타터 워크플로우: 수술 지원
SO-ARM 스타터 워크플로는 구현된 수술 어시스턴트를 구축하기 위한 완전한 엔드투엔드 파이프라인을 제공합니다. 이 프로세스는 개발자가 안전한 반복 가능한 환경에서 데이터를 수집하고 모델을 후훈련한 후 하드웨어에 배포할 수 있도록 합니다.
기술적 구현
이 워크플로는 세 단계 파이프라인을 사용합니다:
- 데이터 수집: SO-101 로봇과 LeRobot을 사용한 시뮬레이션과 실제 세계 원격 조작 시연의 혼합.
- 모델 훈련: 듀얼 카메라 비전을 활용한 결합된 데이터셋에서 GR00T N1.5 모델의 후훈련.
- 정책 배포: RTI DDS 통신을 사용한 물리적 하드웨어에서의 실시간 추론.
주목할 점은, 정책 훈련에 사용된 데이터의 93% 이상이 시뮬레이션에서 합성적으로 생성되었으며, 이는 시뮬레이션이 로봇 데이터 격차를 해소하는 데 효과적임을 보여줍니다.
Sim-to-Real 혼합 훈련 접근법
실제 세계 훈련 비용과 순수 시뮬레이션의 한계를 균형 있게 맞추기 위해, 워크플로는 혼합 훈련 전략을 사용합니다. 이 접근법은 일반적으로 다양한 시나리오와 환경 변화를 위한 약 70개의 시뮬레이션 에피소드와 진실성과 기반을 제공하기 위한 10-20개의 실제 세계 에피소드를 결합하여, 두 도메인 모두에서 더 효과적으로 일반화되는 정책을 생성합니다.
하드웨어 및 소프트웨어 요구 사항
워크플로를 배포하려면 특정 하드웨어 구성이 필요합니다:
- GPU: GR00T N1.5 추론에 최소 30GB VRAM을 갖춘 Ampere 아키텍처 이상 (RT Core 활성화).
- SO-ARM101 팔로워: 듀얼 카메라 비전(손목 장착 및 실내 카메라)이 장착된 6-DOF 정밀 조작기.
- SO-ARM101 리더: 전문가 시연을 수집하는 데 사용되는 6-DOF 원격 조작 인터페이스.
물리적 하드웨어가 없는 경우, 프레임워크는 시뮬레이션 데이터 수집을 위한 키보드 기반 원격 조작을 지원합니다. 모든 시뮬레이션, 훈련, 배포 작업은 단일 DGX Spark 워크스테이션에서 실행할 수 있습니다.
엔드투엔드 Sim 수집-훈련-평가 파이프라인
Isaac Lab은 실험에서 생산으로의 전환을 간소화하기 위해 데이터 수집, 훈련, 평가, 배포의 연속적인 루프를 지원합니다.
합성 데이터 생성
개발자는 키보드 또는 하드웨어 컨트롤러를 통해 로봇을 원격 조작하여 합성 데이터를 생성할 수 있으며, 멀티 카메라 관찰, 로봇 상태 및 행동을 캡처합니다. 이를 통해 실제 세계 의료 환경에서는 수집하기 unsafe한 엣지 케이스를 포함하는 데이터셋을 만들 수 있습니다.
정책 훈련 및 평가
훈련은 Isaac Lab의 RL 프레임워크와 PPO 훈련에 통합되어 수천 개의 병렬 시뮬레이션을 동시에 실행할 수 있게 합니다. 시스템은 다양한 시나리오에 대한 통계적 검증을 위해 내장된 trajectory 분석 및 성공 지표를 포함합니다.
TensorRT 최적화
모델은 프로덕션 배포를 위해 TensorRT로 변환되어 자동 최적화, 동적 형태 지원, 멀티 카메라 추론을 제공합니다. 실시간 성능을 검증하기 위한 벤치마킹 도구가 포함됩니다.
시작하기 및 리소스
Isaac for Healthcare SO-ARM 스타터 워크플로는 i4h-workflows GitHub 저장소를 통해 이용할 수 있습니다. 사용자는 저장소를 클론하고 자동 설정 스크립트(예: tools/env_setup_so_arm_starter.sh)를 실행하여 시작할 수 있습니다.
주요 리소스는 다음과 같습니다:
- GitHub 저장소: 완전한 워크플로 구현.
- 문서: 설정 및 사용 가이드.
- GR00T 모델: Hugging Face에서 이용 가능한 사전 훈련된 기초 모델.
- LeRobot: 엔드투엔드 로봇 학습 저장소.