Mark12Ding/SAM2Long
[ICCV 2025] SAM2Long: Enhancing SAM 2 for Long Video Segmentation with a Training-Free Memory Tree
해결하는 문제
SAM2Long은 장기 동영상 세그멘테이션에서 오류 누적 문제를 해결합니다. 일반적인 SAM 2에서는 오브젝트가 가려지거나 다시 나타날 때 추적 오차가 발생하거나 실패하여 세그멘테이션 마스크가 시간이 지남에 따라 품질이 저하됩니다.
작동 방식
학습이 필요 없는 메모리 트리를 도입하여 여러 세그멘테이션 가설을 관리합니다. 단일 메모리 경로에 의존하는 대신, 비디오가 진행됨에 따라 최적성이 낮은 경로를 동적으로 제거함으로써 오류 전파 위험을 줄이고, 가려짐에 대한 회복력을 높입니다.
대상 사용자
오브젝트가 자주 사라지고 다시 나타나는 장시간 콘텐츠에서 높은 정확도의 추적을 필요로 하는 비전 연구자 및 개발자.
주요 특징
- 학습 없음: 추가 파라미터나 추가 학습 없이 SAM 2를 강화합니다.
- 강건한 추적: 장시간 동영상에서 오브젝트의 가려짐과 재등장에 특별히 설계되었습니다.
- 성능 향상: SA-V 및 LVOS와 같은 벤치마크에서 원본 SAM 2에 비해 J & F 스코어에서 두드러진 개선을 보입니다.
- 호환성: SAM 2 및 SAM 2.1 체크포인트(작은, 작은, 베이스+, 큰 등)의 다양한 백본 크기와 호환됩니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트