om-ai-lab/VLX-Seek
VLX-Seek is an efficient VLM that grounds fine-grained visual targets with high precision in wild environments.
解决的问题
VLX-Seek 解决了传统视觉语言模型 (VLM) 在依赖生成长数值坐标字符串（例如 [x1, y1, x2, y2]）进行物体定位时的脆弱性和低效率问题。这类基于坐标的方法容易出现格式错误、在目标不存在时产生幻觉框，且由于输出序列过长而拖慢推理速度。
运作原理
VLX-Seek 不再生成坐标，而是将定位重新定义为区域检索与参照任务。它采用解耦的管线：
- 区域建议 (Region Proposal)：候选区域生成网络（例如集成的 WeDetect-Base-Uni）会提出图像中的潜在前景区域。
- 区域标记 (Region Tokens)：这些候选区域被编码为可寻址的区域标记（例如
<obj0>,<obj1>）。 - 区域参照 (Region Reference)：语言模型识别并选择符合用户查询的特定区域标记，输出简短的区域 ID 而非坐标。这些 ID 随后会映射回原始的边界框。
适用对象
它专为边缘端具身视觉系统设计，特别是在精确空间定位至关重要的场景，例如无人机、监控摄像头、机器人与机器狗，特别是那些在有限运算与电力预算下运行的系统。
特点
- 基于区域的定位：以更稳定的区域参照机制取代脆弱的坐标生成。
- 具身感知：专门针对无人机、监控与机器人视角数据进行训练，在真实世界的具身场景中表现更佳。
- 减少幻觉：包含硬负样本拒绝训练与明确的
None格式，以避免检测不存在的目标。 - 效率：通过更快的建议管线与 Linear Attention 层，实现更快的推理速度与更低的内存成本。
相关
- Dispatch
- 项目
- Dispatch
- Dispatch
- 项目