Maelic/RelateAnything

해결하는 문제

RelateAnything은 이미지 내 객체 간의 관계를 실시간으로 예측하는 방법을 제공합니다. 기존 시스템과 달리 '오픈 어휘(open-vocabulary)' 방식을 사용하여, 모델을 재학습할 필요 없이 추론 시점에 찾고자 하는 특정 관계(예: '타고 있는', '옆에 있는', '앞에 있는')를 정의할 수 있습니다.

작동 원리

이 시스템은 DINOv3 백본을 사용하여 이미지를 처리하고 객체 영역을 시각적 토큰으로 변환합니다. 페어 샘플러(pair sampler)가 후보 관계를 식별하고, 트랜스포머(transformer)가 장면 컨텍스트를 사용하여 이를 정교화합니다. 그 후 어휘 헤드(vocabulary head)가 사용자가 제공한 술어 문자열의 텍스트 임베딩을 기준으로 해당 쌍의 점수를 매깁니다. 이를 통해 모델은 단 한 번의 순방향 패스(forward pass)만으로 공간적 관계(어디에 있는지)와 의미적 관계(무엇을 하는지)를 모두 식별할 수 있습니다.

대상 사용자

이 도구는 장면 그래프 생성, 컴퓨터 비전, 실시간 객체 관계 분석을 연구하는 개발자와 연구자를 위해 설계되었습니다.

주요 특징

• 오픈 어휘: 재학습 없이 런타임에 사용자 정의 관계 구문을 정의할 수 있습니다.
• 실시간 성능: 고속 추론 (예: RTX 3080에서 ViT-S+ 사용 시 이미지당 16.8ms).
• 유연한 입력: 모든 객체 탐지기나 세그멘터와 호환되며, 이미지 픽셀과 바운딩 박스만 있으면 됩니다.
• 다양한 그래프 유형: 관계의 단일 순위 목록을 생성하거나 공간 그래프와 의미 그래프를 각각 생성할 수 있습니다.
• 브라우저 지원: WebGPU 또는 WASM을 사용하여 장치에서 로컬로 실행되는 데모가 포함되어 있습니다.