OpenSenseNova/SenseNova-Vision

解决的问题

SenseNova-Vision 将计算机视觉任务表述为一个统一的多模态生成问题，从而解决了这些任务的碎片化问题。它不再为不同任务（如目标检测、分割和深度估计）使用单独的模型或特定任务的预测头，而是使用单一的统一多模态模型 (UMM) 通过原生文本和图像生成来处理多样化的视觉任务。

工作原理

该系统将视觉任务视为指令-响应对。它使用自然语言指令和视觉提示来指定任务和输出格式。然后，模型会以三种格式生成响应：

• 文本生成：用于符号记录，如边界框、类别、OCR 字符串和相机参数。
• 图像生成：用于密集空间目标，如分割掩码、深度图和表面法向量。
• 混合文本与图像生成：用于需要符号和密集输出的组合任务。

为此，该项目引入了 SenseNova-Vision Corpus，这是一个包含计算机视觉指令-响应示例的大规模数据集，并训练了一个预训练的 UMM，而无需架构分支或专用解码器。

适用对象

• 从事通用视觉模型研究的 AI 研究人员和开发人员。
• 需要单一模型来执行多项 CV 任务（检测、分割、几何）而无需切换模型的开发人员。
• 对多视角视觉几何和 3D 重建感兴趣的用户。

亮点

• 统一表述：将异构的 CV 任务转换为单一的输入-输出空间。
• 广泛能力：支持结构化视觉理解、密集几何预测、分割和多视角视觉几何。
• 无特定任务的预测头：无需专用预测头或解码器即可运行。
• 大规模语料库：包含用于训练的 SenseNova-Vision Corpus-50M。