zju3dv/OnePose_Plus_Plus

해결하는 문제

OnePose++는 전통적인 방법에서 일반적으로 필요로 하는 사전 CAD 모델이나 키포인트의 수동 정의 없이, 물체의 3차원 위치와 방향을 추정하는 문제를 해결합니다.

작동 방식

이 시스템은 1샷(One-shot) 접근 방식을 사용하여 물체의 자세를 추정합니다. 훈련 데이터에서 2D-3D 대응 관계를 설정하기 위해 COLMAP를 통한 Structure-from-Motion(SfM)을 활용하여 반밀도 물체 포인트 클라우드를 재구성합니다. LoFTR를 통한 특징 매칭과 DeepLM을 통한 최적화 컴포넌트를 통합하여 자세 추정 과정을 정교화합니다.

대상 사용자

이 프로젝트는 컴퓨터 비전, 로보틱스, 증강현실 분야에서 일하는 연구자 및 개발자들을 위한 것입니다. 이들은 대상 물체의 디지털 3D 블루프린트(CAD 모델)에 접근할 수 없는 상황에서 장면 내 물체를 추적하거나 위치를 파악해야 할 때 적합합니다.

주요 특징

• CAD 무료: 대상 물체의 3D CAD 모델이 필요하지 않습니다.
• 키포인트 무료: 수동으로 정의된 키포인트가 필요하지 않습니다.
• 1샷: 최소한의 훈련 데이터로 자세를 추정할 수 있습니다.
• 모바일 통합: 사용자 정의 훈련 및 테스트 데이터를 캡처하기 위한 보조 iOS 앱(OnePose Cap)이 포함되어 있습니다.