google-deepmind/tapnet

TAP‑Net이란 무엇인가요?

TAP‑Net은 Google DeepMind의 연구 프로젝트인 Tracking Any Point (TAP)의 코드베이스로, 비디오를 통해 임의의 픽셀 레벨 포인트를 추적하는 문제를 다룹니다. 전체 박스를 추적하는 클래식한 객체 추적(object-tracking)이나 짧은 윈도우에서만 작동하는 광학 흐름(optical flow)과 달리, TAP은 모델이 단일 프레임의 단일 쿼리 포인트를 받아 변형되는 표면, 가려짐(occlusion), 그리고 긴 시간 범위에 걸쳐 다른 모든 프레임에서 해당 정확한 포인트가 어디로 이동하는지(또는 보이지 않게 되는지)를 예측하도록 합니다.

저장소에 포함된 주요 구성 요소

구성 요소	기능	사용 방법
TAP‑Vid & TAPVid‑3D datasets	실제 및 합성 비디오에 대한 ground-truth 포인트 트랙을 포함하는 대규모 벤치마크 컬렉션 (2D 및 3D).	데이터를 다운로드하고 제공된 평가 스크립트를 실행하여 TAP 작업에 대한 모델의 정확도를 측정합니다.
TAPIR	빠르고 TAP‑Vid에서 state-of-the-art를 기록하는 2단계 포인트 트래킹 모델 (matching + refinement).	사전 학습된 체크포인트(JAX & PyTorch)가 제공됩니다. Colab 노트북 또는 실시간 데모 스크립트를 통해 추론을 실행할 수 있습니다.
BootsTAPIR	TAPIR와 동일한 아키텍처이지만 대규모 레이블 없는 비디오에서 자기 지도 학습 방식인 “bootstrapped” 손실로 학습되어 정확도가 눈에 띄게 향상되었습니다.	TAPIR와 사용법이 동일합니다. BootsTAPIR 체크포인트를 로드하기만 하면 됩니다.
TAPNext / TAPNext++	포인트 트래킹을 next-token prediction 문제로 취급하는 더 새롭고 단순한 트래커입니다. TAPNext++는 장기 안정성, 가려짐 처리 및 재검출 기능을 추가했습니다.	제공된 Colab 노트북(JAX 또는 PyTorch) 또는 오프라인 데모를 통해 실행할 수 있습니다.
RoboTAP	TAPIR 포인트 트랙을 로봇 조작을 위한 few-shot 시각적 모방 정책으로 변환하는 방법을 보여줍니다. 로봇 전용 데이터셋과 클러스터링 코드가 포함되어 있습니다.	클러스터링 노트북을 사용하여 포인트 트랙을 모방 학습을 위한 action primitives로 변환합니다.
TRAJAN	포인트 트랙 세트에 대한 잠재 공간을 학습하는 궤적 오토인코더로, 운동 분포를 비교하거나 생성 비디오 모델을 평가하는 데 유용합니다.	TRAJAN Colab 데모를 실행하여 궤적을 인코딩/디코딩합니다.
Training scripts	원래의 TAP‑Net 베이스라인과 합성 Kubric 데이터에 대한 TAPIR를 위한 JAX 기반 학습 파이프라인.	`tapnet/training` README를 따라 모델을 재현하거나 자신의 데이터로 미세 조정(fine-tune)하십시오.

빠르게 시작하기

Colab 데모 – 저장소에는 바로 실행 가능한 수십 개의 노트북(예: torch_tapnextpp_demo.ipynb, tapir_demo.ipynb)이 포함되어 있습니다. Google Colab에서 아무 노트북이나 열고 Run all을 누르면 몇 초 안에 포인트가 추적되는 것을 볼 수 있습니다.
라이브 데모 – 저장소를 클론하고, tapnet 패키지를 설치한 다음, 체크포인트(예: causal_tapir_checkpoint.npy)를 다운로드하고 python -m tapnet.live_demo를 실행합니다. 적당한 RTX 4000 사양에서 480×480 프레임에 대해 약 17 fps를 얻을 수 있습니다.
평가 – tapnet/tapvid 및 tapnet/tapvid3d 폴더를 사용하여 벤치마크 데이터를 다운로드하고 제공된 메트릭 스크립트를 호출하여 표준 “AJ” (average Jaccard) 점수를 계산합니다.

왜 중요한가요?

세밀한 움직임 이해 – 포인트 레벨 트래킹은 바운딩 박스 트래킹보다 모델의 기하학적 및 동적 이해도를 더 정밀하게 조사할 수 있는 방법입니다.
로보틱스 가교 – RoboTAP은 정확한 포인트 트랙이 모방 학습에 직접 활용되어 시각적 데이터를 로봇 동작으로 변환할 수 있음을 보여줍니다.
연구 플랫폼 – 이 저장소는 데이터셋, 사전 학습된 가중치(JAX + PyTorch), 학습 코드 및 일련의 데모를 번들로 제공하여, 포인트 트래킹을 실험하거나 이를 기반으로 구축하려는 모든 사람을 위한 원스톱 숍 역할을 합니다.

README에 링크된 리소스

프로젝트 웹페이지: TAP‑Vid, TAPIR, RoboTAP, BootsTAP, TAPVid‑3D, TAPNext, TRAJAN, TAPNext++
더 깊은 배경 지식을 위한 블로그 포스트 및 논문 링크
체크포인트를 다운로드하기 위한 HuggingFace 허브
합성 ground-truth 트랙을 생성하기 위한 Kubric 시각화 노트북

TL;DR: TAP‑Net은 컴퓨터 비전 및 로보틱스 분야에 응용 가능한 정밀 비디오 트래킹 작업인 Tracking Any Point 문제를 위한 데이터셋, 최첨단 모델, 학습 파이프라인 및 대화형 데모를 제공하는 진정한 연구급 오픈 소스 프로젝트입니다.