NVIDIA Cosmos3-H-Dreams: 임상 수술을 위한 생성 시뮬레이션

NVIDIA Cosmos3-H-Dreams는 임상 수술의 시각적·절차적 복잡성에 대화형 생성 시뮬레이션을 도입하여, 실제 임상 절차에서 직접 시각 역학을 학습함으로써 현재까지 가장 설득력 있는 체내 영상을 구현합니다.

탁상용 작업에서 임상 장면으로

체내 수술은 단순한 배경 움직임을 넘어서는 복잡하고 동적인 반응을 포착하는 생성 시뮬레이터를 요구하며, 사실적인 시뮬레이션을 위해서는 시간적 일관성이 필수적입니다.

통제된 탁상 환경에서는 기구가 단순한 배경을 배경으로 작동하지만, 인체 내부에서는 작은 기구 움직임이 견인에 의한 조직 신장, 반사 변화, 구조 폐색, 연기 가시성 변화와 같은 대규모 변화를 유발합니다.

대화형 환경으로 기능하려면 생성된 장면은 특정 제어를 따르면서 해부학과 기구를 보존하여 충실도를 유지해야 합니다. 즉, 병진, 회전, 그리퍼 명령은 단지 그럴듯해 보이는 비디오가 아니라 일관된 해부학적 결과를 생성해야 합니다.

Cosmos3-H-Dreams는 임상 담낭절제술에 특화되고 실시간 작동을 위해 증류된 모델을 활용하여 이 복잡한 환경에서의 저지연 생성 요구를 해결함으로써, 복잡한 해부학, 조직 움직임, 폐색이 있는 장면 내에서 행동 조건화된 상호작용을 가능하게 합니다.

Cosmos3-H-Dreams의 주요 기술 발전

Cosmos3-H-Dreams는 실제 임상 데이터로 학습하고 실시간 성능을 위해 모델을 최적화함으로써 이전의 탁상용 시뮬레이터에서 큰 도약을 나타냅니다.

기반 및 제어 구조

Cosmos3-H-Dreams는 Cosmos3-H-Embodied-Nano의 개선판인 특화된 양방향 교사 모델을 기반으로 구축되었습니다. 이 기반은 Open-H-Embodiment 데이터셋으로 사전 학습된 160억 파라미터 모델입니다.

이 모델은 두 개의 보이는 작동 기구(왼쪽 Cadiere 그리퍼와 오른쪽 단극 훅)에 초점을 맞춰 임상 담낭절제술에 특화되어 있습니다. 이 모델은 두 팔의 자세와 그리퍼 정보, 에너지 제어, 썸스틱 축, 썸스틱 버튼을 포함한 28개의 행동 차원을 지원합니다.

교사-학생 훈련 파이프라인

이 시스템은 긴 자기회귀 롤아웃을 처리하면서 빠르고 대화형 생성을 유지하도록 설계된 정교한 교사-학생 훈련 파이프라인을 사용합니다.

  1. 교사 훈련: 양방향 교사 모델은 먼저 24개의 미래 프레임에 적응한 후, 학습 범위를 72프레임(10Hz에서 2.4~7.2초)으로 확장하여 교사가 포괄적인 수술 역학을 학습할 수 있도록 합니다.
  2. 증류: 증류는 양방향 교사를 인과적 학생 모델로 변환하여 새로운 행동이 도착할 때 짧은 블록으로 비디오를 생성할 수 있게 합니다. 인과적 교사 강제는 기록된 맥락을 사용하여 순차적 생성을 위해 학생을 준비시킵니다.
  3. 오류 완화: Self-Forcing은 교사와 학습된 비평가의 안내에 따라 학생이 자신이 생성한 맥락에서 학습하도록 합니다. 이 과정은 대화형 롤아웃 중 오류 누적을 완화하는 데 중요합니다.

첫 번째 공개 학생 체크포인트는 생성 블록당 4개의 노이즈 제거 단계를 사용하며, 두 번째 릴리스 체크포인트는 2단계 스케줄을 사용합니다. 2단계 모델은 별도로 학습되어 개발자가 시각적 품질과 추론 비용 사이의 균형을 조정할 수 있습니다.

실시간 스트리밍 추론

대화형 성능을 달성하기 위해 Cosmos3-H-Dreams는 NVIDIA의 가속 스트리밍 추론 라이브러리인 FlashDreams와 적응형 FadeMem 모듈을 통합합니다.

FlashDreams는 가속 스트리밍 런타임을 제공하고, FadeMem 모듈은 긴 롤아웃 동안 증가하는 키/값 캐시를 통합합니다. 이 캐시 통합은 Self-Forcing을 보완하여 스트리밍 생성 과정에서 모델의 기록이 저장되는 방식을 처리합니다.

Cosmos3-H-Dreams는 단일 NVIDIA RTX PRO 6000 GPU에서 대화형으로 실행됩니다.

기능 및 일반화

Cosmos3-H-Dreams는 학습 데이터를 넘어 일반화하도록 설계되어, 보지 못한 움직임으로 조건화되어도 일관된 프레임을 생성할 수 있습니다.

이 시뮬레이터는 동일한 초기 프레임에서 시작하더라도 기구 제어가 동일한 장면의 뚜렷한 연속을 이끌어내며, 물리적으로 정확한 조직 변형을 보여줍니다. 이러한 롤아웃을 통해 연구자는 기구가 제어를 따르는지, 조직이 상호작용에 일관되게 반응하는지, 해부학적 및 기구 외관이 시간이 지나도 일관성을 유지하는지 검사할 수 있습니다.

또한, 이 시스템은 새로운 데이터셋과 구현체에 적응할 수 있습니다. 새 컨트롤러가 학습 데이터와 동일한 행동 규약 및 정규화를 사용한다면, 사용자 정의 데이터에 대한 미세 조정 및 Self-Forcing 증류를 위한 완전한 레시피가 제공됩니다.

향후 연구 방향 및 한계

Cosmos3-H-Dreams는 명시적으로 연구용 시뮬레이터이며 환자 치료를 위한 검증된 시스템이 아닙니다. 현재의 기능은 몇 가지 중요한 연구 방향을 제시합니다:

  • 절차 확장: 전체 담낭절제술 절차를 체계적으로 모델링하기 위해 범위와 시간적 일관성을 확장하고, 명확한 작업 경계와 성공 기준을 정의합니다.
  • 하이브리드 모델링: 학습된 시각적 사실성과 수치 시뮬레이션의 명시적 기하, 접촉, 조직 역학을 결합합니다. 수치 모델은 변형을 제약하고 검증하여 시뮬레이션 동작을 검사 가능하게 만들 수 있습니다.
  • 임상 검증: 외과의사의 전문가 피드백을 통해 해부학적 정확성, 기구 동작, 조직 반응을 평가하고, 이를 재현 가능한 벤치마크를 만드는 데 사용할 수 있습니다.
  • 고급 상호작용: 두 개의 제어된 도구를 넘어 여러 기구 간의 더 풍부한 협응, 폐색, 상호작용을 지원합니다.
  • 자율성: 세계 행동 모델을 Cosmos3-H-Dreams에 폐쇄 루프로 연결하여 정책이 정의된 담낭절제술 하위 작업을 학습할 수 있게 합니다.

시작하기

개발자는 다음 리소스를 사용하여 Cosmos3-H-Dreams의 모델, 데이터 및 런타임을 탐색할 수 있습니다:

  • 코드 및 예제: Cosmos3-H-Dreams의 전체 GitHub 저장소.
  • 모델 체크포인트: Cosmos3-H-Dreams의 공식 Hugging Face 체크포인트.
  • 적응 가이드: 사용자 정의 데이터셋에 대한 교사 미세 조정 및 Self-Forcing 증류 과정을 자세히 설명하는 단계별 가이드.
  • 핵심 구성 요소: Open-H-Embodiment 데이터셋, FlashDreams 런타임, NVIDIA Cosmos 3 저장소에 대한 액세스.

SUMMARY: NVIDIA Cosmos3-H-Dreams는 실제 임상 절차 녹화에서 직접 시각 역학을 학습하여 임상 담낭절제술의 대화형, 고현실감 시뮬레이션을 가능하게 하는 생성형 수술 시뮬레이터입니다.

TITLE: NVIDIA Cosmos3-H-Dreams: 임상 수술을 위한 생성 시뮬레이션

Sources