Tencent/WeVisOne-VL
WeVisOne-VL is a powerful VLM by the WeChat Vision Team at Tencent, unifying object-level and pixel-level perception from points and boxes to masks and alpha mattes.
WeVisOne-VL とは？
WeVisOne-VL（WeChat Vision All-in-One の略）は、Tencent が開発した視覚言語モデルで、単一のシステムで多くの異なる視覚タスクを処理します。各タスクに別々のツールを必要とせず、1つのモデルでオブジェクトの検出、カウント、テキスト読み取り、画像セグメンテーションなどができます。
2つの詳細レベルで動作します：
- オブジェクトレベル：ボックスやポイントでオブジェクトを検出、カウント、テキスト読み取り（OCR）、自然言語で記述されたオブジェクトの位置特定。
- ピクセルレベル：バイナリマスク（どのピクセルがオブジェクトに属するか）と連続アルファマット（髪や毛などの柔らかいエッジ）を生成し、切り抜きや画像編集に役立ちます。
仕組み
モデルには3つの主要部分があります：
データエンジン：知識グラフ駆動のシステムで、1億以上の画像を自動アノテーションしました。概念を発見し、視覚言語モデルで検証された専用ツールで位置を特定し、結果をマスクとアルファマットに拡張します。
統一タスク形式：すべてのタスクは構造化テキストとして表現されます。座標は
<0>から<1000>のトークンを使用してボックスとポイントを表し、Noneは存在しないターゲットを示し、<OBJ>トークンはピクセルレベルの出力を示します。モデルアーキテクチャ：軽量なピクセルデコーダ（わずか9.6Mパラメータ）が、各
<OBJ>トークンの隠れ状態、予測されたボックス、および Qwen3-VL 視覚トランスフォーマーからのマルチレベル特徴を組み合わせて、フル解像度のマスクまたはアルファマットを予測します。SAM（Segment Anything Model）は不要です。
主な強み
- オールインワン：検出、参照、カウント、ポインティング、OCR、セグメンテーション、マッティングを単一モデルで。
- 軽量ピクセルデコーダ：9.6Mパラメータ、外部セグメンテーションモデル不要。
- 信頼性の高い拒否：存在しないターゲットには
Noneを返し、存在しないオブジェクトを幻覚しません。
利用可能なモデルとデモ
Hugging Face で2つのモデルサイズが公開されています：WeVisOne-VL-2B と WeVisOne-VL-4B。両方にホストされたデモがあり、Gradio デモはローカルで起動できます。
サポートされるタスク
| タスク | 機能 | 出力 |
|---|---|---|
detection |
指定されたカテゴリのすべてのインスタンスを検出 | ボックス |
referring |
自然言語表現で記述されたオブジェクトを位置特定 | ボックスまたは None |
point |
各クエリオブジェクトをポイントでマーク | ポイント |
count_box / count_point |
一致するインスタンスをカウント | ボックス/ポイント + カウント |
ocr / ocr_grounding |
テキストを検出して認識 | テキスト + ボックス |
segmentation |
記述されたオブジェクトのバイナリマスクを生成 | ボックス + マスク |
matting |
アルファマット（柔らかいエッジの切り抜き）を生成 | ボックス + アルファマット |
パフォーマンスのハイライト
ベンチマークでは、WeVisOne-VL-4B は主要な指標すべてで最強のオープンベースライン（Qwen3-VL/Qwen3.5 最大9B、Rex-Omni、LocateAnything、タスク固有モデル）を上回ります。以下を含みます：
- 検出：LVIS で F1 平均 55.3（ベースライン 50.7）、Dense200 で 71.3（ベースライン 58.7）
- 参照：RefCOCOg テストで F1 平均 81.8（ベースライン 77.6）
- 拒否：WeRef-Bench で拒否率 96.4%（ベースライン 73.0）
- カウント：PixMo-Count テストで精度 89.6%（ベースライン 82.8）
- OCR：TotalText で F1 平均 52.0（ベースライン 43.3）
- 参照セグメンテーション：ReasonSeg 検証で gIoU 71.2（ベースライン 65.0）
- ボックスマッティング：P3M-500-NP で MAD 7.3（ベースライン 15.4）
- テキストマッティング：WeRefMat で MAD 9.8（ベースライン 22.4）
公開内容
- Hugging Face のモデル重み（2B および 4B）
- 推論パッケージと Cookbooks（各タスクパイプラインの Jupyter チュートリアル）
- Gradio ウェブデモ
- ベンチマーク評価パイプライン
- トレーニングデータ作成に使用されるマッティングアノテータツール（Mask2Alpha）
未公開：微調整コード（TODO としてリスト）。
ライセンス
Tencent 作成のコードは Apache License 2.0 です。サードパーティコンポーネントは元のライセンスを保持します。
引用
WeVisOne-VL を使用する場合、README は arXiv 論文を引用するよう求めています：WeVisOne-VL: Unified Visual Perception from Objects to Pixels（arXiv:2610.31329）。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト