Tencent/WeVisOne-VL

WeVisOne-VL 是什么？

WeVisOne-VL（WeChat Vision All-in-One 的缩写）是腾讯推出的视觉语言模型，用单一系统处理多种视觉任务。无需为每个任务使用单独工具，一个模型即可检测对象、计数、读取文本、分割图像等。

它在两个细节级别上工作：

• 对象级：用框或点定位对象、计数、读取文本（OCR），以及定位自然语言描述的对象。
• 像素级：生成二值掩码（哪些像素属于对象）和连续 alpha 抠图（软边缘，例如头发或毛发），适用于抠图和图像编辑。

工作原理

模型有三个主要部分：

1. 数据引擎：知识图谱驱动的系统，自动标注了超过 1 亿张图像。它发现概念，用专用工具（经视觉语言模型验证）定位，并将结果扩展到掩码和 alpha 抠图。

2. 统一任务公式：每个任务都表示为结构化文本。坐标使用 <0> 到 <1000> 的标记表示框和点，None 标记不存在的目标，<OBJ> 标记表示像素级输出。

3. 模型架构：轻量级像素解码器（仅 9.6M 参数）结合每个 <OBJ> 标记的隐藏状态、预测框以及来自 Qwen3-VL 视觉 transformer 的多级特征，预测全分辨率掩码或 alpha 抠图。无需 SAM（Segment Anything Model）。

主要优势

• 一体化：检测、指代、计数、指向、OCR、分割和抠图在单一模型中。
• 轻量级像素解码器：9.6M 参数，无需外部分割模型。
• 可靠拒绝：对不存在的目标返回 None，而不是幻觉出不存在的对象。

可用模型和演示

Hugging Face 上发布了两种模型规模：WeVisOne-VL-2B 和 WeVisOne-VL-4B。两者都有托管演示可供尝试，Gradio 演示也可本地启动。

支持的任务

任务	功能	输出
detection	查找给定类别的所有实例	框
referring	定位自然语言表达式描述的对象	框或 None
point	用点标记每个查询对象	点
count_box / count_point	计数匹配实例	框/点 + 计数
ocr / ocr_grounding	查找并识别文本	文本 + 框
segmentation	为描述对象生成二值掩码	框 + 掩码
matting	生成 alpha 抠图（软边缘抠图）	框 + alpha 抠图

性能亮点

在基准测试中，WeVisOne-VL-4B 在所有主要指标上优于最强的开源基线（Qwen3-VL/Qwen3.5 最高 9B、Rex-Omni、LocateAnything 和任务特定模型），包括：

• 检测：LVIS 上 F1 均值 55.3（基线 50.7），Dense200 上 71.3（基线 58.7）
• 指代：RefCOCOg 测试集上 F1 均值 81.8（基线 77.6）
• 拒绝：WeRef-Bench 上拒绝率 96.4%（基线 73.0）
• 计数：PixMo-Count 测试集上准确率 89.6%（基线 82.8）
• OCR：TotalText 上 F1 均值 52.0（基线 43.3）
• 指代分割：ReasonSeg 验证集上 gIoU 71.2（基线 65.0）
• 框抠图：P3M-500-NP 上 MAD 7.3（基线 15.4）
• 文本抠图：WeRefMat 上 MAD 9.8（基线 22.4）

已发布内容

• Hugging Face 上的模型权重（2B 和 4B）
• 推理包和 Cookbooks（每个任务流程的 Jupyter 教程）
• Gradio 网页演示
• 基准评估流程
• 用于创建训练数据的抠图标注工具（Mask2Alpha）

尚未发布：微调代码（列为 TODO）。

许可证

腾讯编写的代码采用 Apache License 2.0。第三方组件保留其原始许可证。

引用

如果您使用 WeVisOne-VL，README 要求引用 arXiv 论文：WeVisOne-VL: Unified Visual Perception from Objects to Pixels（arXiv:2610.31329）。