om-ai-lab/VLX-Seek
VLX-Seek is an efficient VLM that grounds fine-grained visual targets with high precision in wild environments.
解決する課題
VLX-Seekは、物体位置特定のために長い数値座標文字列（例：[x1, y1, x2, y2]）の生成に依存する従来の視覚言語モデル（VLM）の脆弱性と非効率性を解決します。このような座標ベースの手法は、フォーマットエラーが発生しやすく、ターゲットが存在しない場合にボックスを幻覚（ハルシネーション）し、出力シーケンスの長さによって推論速度が低下する傾向があります。
仕組み
VLX-Seekは座標を生成する代わりに、位置特定を領域検索および参照タスクとして再定義します。デカップリングされたパイプラインを使用します：
- 領域提案 (Region Proposal)：候補領域生成ネットワーク（統合された WeDetect-Base-Uni など）が画像内の潜在的な前景領域を提案します。
- 領域トークン (Region Tokens)：これらの候補領域は、アドレス指定可能な領域トークン（例：
<obj0>,<obj1>）としてエンコードされます。 - 領域参照 (Region Reference)：言語モデルは、ユーザーのクエリに一致する特定の領域トークンを識別・選択し、座標ではなく短い領域IDを出力します。これらのIDは、元のバウンディングボックスにマッピングされます。
対象ユーザー
ドローン、監視カメラ、ロボット、ロボット犬など、正確な空間グラウンディングが不可欠なエッジ側の具身視覚システム向けに設計されており、特に計算リソースや電力予算が限られた環境で動作するシステムに適しています。
ハイライト
- 領域ベースの位置特定：脆弱な座標生成を、より安定した領域参照メカニズムに置き換えます。
- 具身認識：ドローン、監視、ロボット視点のデータで特別にトレーニングされており、現実世界の具身シナリオで優れたパフォーマンスを発揮します。
- 幻覚の低減：ハードネガティブ棄却トレーニングと明示的な
Noneフォーマットを含み、存在しないターゲットの誤検出を回避します。 - 効率性：より高速な提案パイプラインと Linear Attention 層により、推論の高速化とメモリコストの削減を実現します。
関連
- Dispatch
- プロジェクト
- Dispatch
- Dispatch
- プロジェクト