om-ai-lab/VLX-Seek

해결하는 문제

VLX-Seek은 객체 위치 파악을 위해 긴 숫자 좌표 문자열(예: [x1, y1, x2, y2]) 생성에 의존하는 기존 시각-언어 모델(VLM)의 취약성과 비효율성을 해결합니다. 이러한 좌표 기반 방식은 형식 오류가 발생하기 쉽고, 대상이 없을 때 박스를 환각(hallucination)하며, 출력 시퀀스의 길이로 인해 추론 속도가 느려지는 경향이 있습니다.

작동 원리

VLX-Seek은 좌표를 생성하는 대신 위치 파악을 영역 검색 및 참조 작업으로 재정의합니다. 디커플링된 파이프라인을 사용합니다:

1. 영역 제안 (Region Proposal): 후보 영역 생성 네트워크(통합된 WeDetect-Base-Uni 등)가 이미지 내의 잠재적인 전경 영역을 제안합니다.
2. 영역 토큰 (Region Tokens): 이러한 후보 영역은 주소 지정이 가능한 영역 토큰(예: <obj0>, <obj1>)으로 인코딩됩니다.
3. 영역 참조 (Region Reference): 언어 모델은 사용자의 쿼리와 일치하는 특정 영역 토큰을 식별하고 선택하여 좌표가 아닌 짧은 영역 ID를 출력합니다. 이 ID들은 원래의 바운딩 박스로 다시 매핑됩니다.

대상 사용자

드론, 감시 카메라, 로봇, 로봇 개와 같이 정확한 공간 접지가 필수적인 엣지 기반 구현 시각 시스템을 위해 설계되었으며, 특히 제한된 컴퓨팅 및 전력 예산 내에서 작동하는 시스템에 적합합니다.

주요 특징

• 영역 기반 위치 파악: 취약한 좌표 생성을 더 안정적인 영역 참조 메커니즘으로 대체합니다.
• 구현 인식: 드론, 감시, 로봇 시점 데이터로 특별히 학습되어 실제 구현 시나리오에서 더 나은 성능을 발휘합니다.
• 환각 감소: 하드 네거티브 거부 학습과 명시적인 None 형식을 포함하여 존재하지 않는 대상을 감지하는 것을 방지합니다.
• 효율성: 더 빠른 제안 파이프라인과 Linear Attention 레이어를 통해 더 빠른 추론 속도와 낮은 메모리 비용을 실현합니다.