Tencent/WeVisOne-VL

WeVisOne-VL is a powerful VLM by the WeChat Vision Team at Tencent, unifying object-level and pixel-level perception from points and boxes to masks and alpha mattes.

WeVisOne-VL이란?

WeVisOne-VL(WeChat Vision All-in-One의 약자)은 Tencent가 개발한 비전-언어 모델로, 단일 시스템으로 다양한 시각 작업을 처리합니다. 각 작업에 별도의 도구가 필요하지 않고, 하나의 모델로 객체 탐지, 카운팅, 텍스트 읽기, 이미지 세그멘테이션 등을 수행할 수 있습니다.

두 가지 세부 수준에서 작동합니다:

객체 수준: 박스나 포인트로 객체를 찾고, 카운팅하고, 텍스트를 읽고(OCR), 자연어로 설명된 객체를 위치 지정합니다.
픽셀 수준: 이진 마스크(어떤 픽셀이 객체에 속하는지)와 연속 알파 매트(머리카락이나 털 같은 부드러운 가장자리)를 생성하여 컷아웃 및 이미지 편집에 유용합니다.

작동 방식

모델은 세 가지 주요 부분으로 구성됩니다:

데이터 엔진: 지식 그래프 기반 시스템으로, 1억 개 이상의 이미지를 자동으로 주석 처리했습니다. 개념을 발견하고, 비전-언어 모델로 검증된 전문 도구로 위치를 파악하며, 결과를 마스크와 알파 매트로 확장합니다.
통합 작업 공식화: 모든 작업은 구조화된 텍스트로 표현됩니다. 좌표는 <0>에서 <1000>까지의 토큰을 사용하여 박스와 포인트를 나타내고, None은 없는 대상을 표시하며, <OBJ> 토큰은 픽셀 수준 출력을 나타냅니다.
모델 아키텍처: 경량 픽셀 디코더(단 9.6M 파라미터)가 각 <OBJ> 토큰의 숨겨진 상태, 예측된 박스, Qwen3-VL 비전 트랜스포머의 다중 수준 특징을 결합하여 전체 해상도 마스크 또는 알파 매트를 예측합니다. SAM(Segment Anything Model)이 필요 없습니다.

주요 강점

올인원: 탐지, 참조, 카운팅, 포인팅, OCR, 세그멘테이션, 매팅을 단일 모델로.
경량 픽셀 디코더: 9.6M 파라미터, 외부 세그멘테이션 모델 불필요.
신뢰할 수 있는 거부: 없는 대상에 대해 None을 반환하여 존재하지 않는 객체를 환각하지 않습니다.

사용 가능한 모델 및 데모

Hugging Face에서 두 가지 모델 크기가 공개되었습니다: WeVisOne-VL-2B 및 WeVisOne-VL-4B. 둘 다 호스팅된 데모가 있으며, Gradio 데모는 로컬에서 실행할 수 있습니다.

지원 작업

작업	기능	출력
`detection`	주어진 카테고리의 모든 인스턴스 찾기	박스
`referring`	자연어 표현으로 설명된 객체 위치 지정	박스 또는 `None`
`point`	각 쿼리 객체를 포인트로 표시	포인트
`count_box` / `count_point`	일치하는 인스턴스 카운트	박스/포인트 + 카운트
`ocr` / `ocr_grounding`	텍스트 찾기 및 인식	텍스트 + 박스
`segmentation`	설명된 객체에 대한 이진 마스크 생성	박스 + 마스크
`matting`	알파 매트(부드러운 가장자리 컷아웃) 생성	박스 + 알파 매트

성능 하이라이트

벤치마크에서 WeVisOne-VL-4B는 모든 주요 지표에서 가장 강력한 오픈 베이스라인(Qwen3-VL/Qwen3.5 최대 9B, Rex-Omni, LocateAnything, 작업별 모델)을 능가합니다. 포함:

탐지: LVIS에서 F1 평균 55.3(베이스라인 50.7), Dense200에서 71.3(베이스라인 58.7)
참조: RefCOCOg 테스트에서 F1 평균 81.8(베이스라인 77.6)
거부: WeRef-Bench에서 거부율 96.4%(베이스라인 73.0)
카운팅: PixMo-Count 테스트에서 정확도 89.6%(베이스라인 82.8)
OCR: TotalText에서 F1 평균 52.0(베이스라인 43.3)
참조 세그멘테이션: ReasonSeg 검증에서 gIoU 71.2(베이스라인 65.0)
박스 매팅: P3M-500-NP에서 MAD 7.3(베이스라인 15.4)
텍스트 매팅: WeRefMat에서 MAD 9.8(베이스라인 22.4)

공개 내용

Hugging Face의 모델 가중치(2B 및 4B)
추론 패키지 및 Cookbooks(각 작업 파이프라인에 대한 Jupyter 튜토리얼)
Gradio 웹 데모
벤치마크 평가 파이프라인
훈련 데이터 생성에 사용되는 매팅 주석 도구(Mask2Alpha)

아직 공개되지 않음: 미세 조정 코드(TODO로 나열).

라이선스

Tencent가 작성한 코드는 Apache License 2.0입니다. 타사 구성 요소는 원래 라이선스를 유지합니다.

인용

WeVisOne-VL을 사용하는 경우, README는 arXiv 논문을 인용하도록 요청합니다: WeVisOne-VL: Unified Visual Perception from Objects to Pixels(arXiv:2610.31329).