NVIDIA Cosmos-H-Dreams: 수술 로봇을 위한 실시간 생성 시뮬레이션

NVIDIA Cosmos-H-Dreams: 수술 로봇을 위한 실시간 생성 시뮬레이션

TL;DR

NVIDIA는 Cosmos-H-Dreams를 출시했습니다. 이는 수술 로봇을 위한 실시간, 행동 조건부 생성 시뮬레이터입니다. Cosmos-H-Surgical-Simulator를 인과적 학생 모델로 증류하고 FlashDreams 추론 엔진을 활용하여, NVIDIA는 단일 GPU에서 수술 장면을 160 프레임 per second (FPS)의 인터랙티브 폐쇄 루프 시뮬레이션을 가능하게 했습니다.

월드 모델에서 인터랙티브 시뮬레이터로의 전환

Cosmos-H-Dreams는 이전의 Cosmos-H-Surgical-Simulator—NVIDIA Cosmos-Predict2.5-2B를 기반으로 하고 Open-H-Embodiment 데이터셋에서 훈련된 행동 조건부 세계 기초 모델—을 발전시킵니다. 원래 시뮬레이터는 주로 오프라인 정책 평가 및 합성 데이터 생성에 사용되었지만, Cosmos-H-Dreams는 이러한 기능을 실시간 영역으로 이동시킵니다.

구체적으로, 이 모델은 da Vinci Research Kit (dVRK) 테이블탑 봉합에 특화되어 있습니다. 초기 RGB 프레임과 로봇 키네마틱스의 실시간 스트림을 입력으로 받아 자기회귀 방식으로 다음 프레임 시퀀스를 생성합니다. NVIDIA는 또한 CMR Surgical과 Cambridge Consultants의 Versius 외과의 컨트롤러와 통합하여 시스템의 다용성을 시연했습니다.

실시간 성능을 위한 증류 파이프라인

수술 역학을 희생하지 않고 실시간 속도를 달성하기 위해, Cosmos-H-Dreams는 긴 자기회귀 롤아웃을 위해 설계된 교사-학생 훈련 파이프라인을 사용합니다.

수술 교사

이 과정은 Cosmos-H-Surgical-Simulator Open-H 체크포인트를 기반으로 한 양방향 교사 모델로 시작됩니다. 이 교사는 통합된 44차원 행동 표현을 사용합니다. dVRK 테이블탑 모델의 경우, 양팔 행동 내용(상대 엔드 이펙터 이동, 회전, 그리퍼 상태)이 이 표현에 매핑됩니다. 교사는 성공적인 시연과 실패(예: 바늘 떨어뜨리기 및 놓친 던지기)를 모두 포함하는 JHU dVRK 테이블탑 혼합물에 대해 미세 조정되어, 시뮬레이터가 잘못된 행동의 결과를 정확하게 재현할 수 있도록 합니다.

긴 롤아웃 동안 안정성을 유지하기 위해, 교사의 시간적 범위는 훈련 중에 12 프레임에서 72 프레임으로 점진적으로 증가됩니다.

인과 워밍업과 자체 강제 증류

증류 과정은 두 가지 주요 단계에서 발생합니다:

  1. 인과 워밍업: 교사로부터 인과적 학생이 초기화되고, 사전 계산되고 캐시된 디노이징 궤적을 모방하도록 훈련됩니다.これにより、학생은 인과적 주의와 스트리밍 키/값(KV) 캐시를 사용하도록 학습합니다.
  2. 자체 강제 증류: 자기회귀 모델이 자신의 불완전한 출력에 조건을 걸어 오류가 누적되는 것을 방지하기 위해, NVIDIA는 자체 강제 증류를 사용합니다. 학생은 자신의 컨텍스트를 생성하고, 동결된 교사는 분포 매칭 감독을 제공하여 이러한 롤아웃을 현실적인 비디오로 안내합니다.

이 결과 학생 모델은 몇 단계 확산을 지원하며, 잠재 프레임당 최소 두 단계의 디노이징만 필요합니다.

FlashDreams: 실시간 추론 엔진

Cosmos-H-Dreams는 자기회귀 세계 및 비디오 모델을 위한 가속 추론 라이브러리인 FlashDreams를 통해 제공됩니다. FlashDreams는 지연 시간을 줄이기 위해 여러 최적화를 구현합니다:

  • 스트리밍 KV 캐시
  • CUDA Graph 캡처 d- 모델 컴파일

이 최적화들은 단일 NVIDIA RTX PRO 6000 GPU에서 표준 Cosmos-H-Surgical-Simulator의 약 10 FPS에서 약 160 FPS로 추론 속도를 높입니다.これにより 여러 상호작용 모드가 가능해집니다:

  • 브라우저 클라이언트: WebRTC를 통해 키보드 명령과 생성된 프레임이 제공됩니다.
  • Meta Quest 클라이언트: WebXR을 통해 추적된 컨트롤러 움직임이 로봇 행동에 매핑됩니다.
  • 폐쇄 루프 정책: 관측값과 행동이 실시간으로 교환되는 학습된 수술 정책과의 통합.

수술 물리 AI의 미래 방향

NVIDIA는 Cosmos-H-Dreams를 폐쇄 루프 수술 물리 AI의 기초로 보고 있습니다. 미래 개발은 시각적 품질을 넘어 새로운 벤치마크를 통해 기능적 정확성을 평가하는 데 중점을 둡니다, 포함:

  • 툴팁 도달 및 자세 정확도
  • 그리퍼 사이트 충실도
  • 유휴 안정성
  • 반사실적 행동 다양성
  • 장기 범위 드리프트
  • 시뮬레이션 및 실제 정책 결과 간의 일치

잠재적인 하류 응용에는 지연 인식 원격 수술, 인터랙티브 수술 연습, 절차 계획, 그리고 intraoperative 의사결정 지원이 포함됩니다. NVIDIA는 Cosmos-H-Dreams가 연구 및 개발 플랫폼이며, 진단 시스템, intraoperative 영상의 대체물, 또는 물리적 로봇 컨트롤러로 의도되지 않았다고 명시합니다.

Sources