yangtiming/Fast-SAM-3D-Body

해결하는 문제

Fast SAM 3D Body는 이미지당 수 초가 소요되는 기존 SAM 3D Body (3DB) 프레임워크의 높은 추론 지연 시간을 해결합니다. 이러한 지연 시간은 휴머노이드 로봇 제어나 인터랙티브 모션 트래킹과 같은 실시간 애플리케이션에 사용하는 것을 불가능하게 만들었습니다.

작동 원리

이 프레임워크는 학습이 필요 없는 가속 프레임워크로, 다음과 같은 기술을 통해 3DB 추론 경로를 최적화합니다:

• 병렬화 (Parallelization): 직렬 공간 의존성을 분리하여 병렬 다중 크롭 특징 추출 및 간소화된 transformer 디코딩을 가능하게 합니다.
• 가지치기 (Pruning): 아키텍처 인식 가지치기를 적용하여 계산 오버헤드를 줄입니다.
• 하드웨어 가속 (Hardware Acceleration): torch.compile 및 TensorRT를 활용하여 모델 실행을 최적화합니다.
• 신경망 매핑 (Neural Mapping): 느리고 반복적인 메쉬 피팅 프로세스 (MHR-to-SMPL)를 직접적인 피드포워드 신경망 매핑으로 대체하여 해당 단계를 10,000배 이상 가속합니다.

대상 사용자

이 프로젝트는 3D 인체 메쉬 복원, 컴퓨터 비전 및 로봇 공학 분야의 연구자와 개발자, 특히 단일 RGB 카메라 스트림에서 실시간 전신 트래킹이 필요한 분들을 위해 설계되었습니다.

주요 특징

• 상당한 속도 향상: 기존 SAM 3D Body 대비 엔드투엔드 속도가 최대 10.9배 향상되었습니다.
• 실시간 성능: NVIDIA RTX 5090에서 프레임당 약 65 ms의 엔드투엔드 지연 시간으로 휴머노이드 로봇 제어를 가능하게 합니다.
• 높은 충실도: 기존 3DB와 동등한 복원 정확도를 유지하며, LSPET와 같은 특정 벤치마크에서는 더 뛰어난 성능을 보여줍니다.
• 로봇 공학 통합: 시각 전용 원격 조작 및 휴머노이드 로봇의 조작 정책 수집에서의 유용성을 입증했습니다.