OpenSenseNova/SenseNova-Vision

해결하는 문제

SenseNova-Vision은 컴퓨터 비전 작업을 통합된 멀티모달 생성 문제로 정식화하여 작업의 파편화 문제를 해결합니다. 다른 작업(객체 감지, 분할, 깊이 추정 등)을 위해 별도의 모델이나 작업별 예측 헤드를 사용하는 대신, 단일 통합 멀티모달 모델(UMM)을 사용하여 기본 텍스트 및 이미지 생성을 통해 다양한 시각 작업을 처리합니다.

작동 방식

이 시스템은 시각 작업을 명령-응답 쌍으로 취급합니다. 자연어 명령과 시각적 프롬프트를 사용하여 작업과 출력 형식을 지정합니다. 그런 다음 모델은 세 가지 형식으로 응답을 생성합니다:

• 텍스트 생성: 바운딩 박스, 카테고리, OCR 문자열 및 카메라 매개변수와 같은 기호적 기록에 사용됩니다.
• 이미지 생성: 분할 마스크, 깊이 맵 및 표면 법선과 같은 밀집 공간 대상에 사용됩니다.
• 혼합 텍스트-이미지 생성: 기호적 출력과 밀집 출력이 모두 필요한 구성 작업에 사용됩니다.

이를 달성하기 위해 프로젝트는 컴퓨터 비전 명령-응답 예제의 대규모 데이터셋인 SenseNova-Vision Corpus를 도입하고, 아키텍처 분기나 특수 디코더 없이 사전 학습된 UMM을 학습시킵니다.

대상 독자

• 범용 비전 모델을 연구하는 AI 연구원 및 개발자.
• 모델을 전환하지 않고 여러 CV 작업(감지, 분할, 기하학)을 수행하는 단일 모델이 필요한 개발자.
• 다중 시점 시각 기하학 및 3D 재구성에 관심 있는 사용자.

하이라이트

• 통합된 정식화: 이질적인 CV 작업을 단일 입력-출력 공간으로 변환합니다.
• 폭넓은 기능: 구조화된 시각 이해, 밀집 기하학적 예측, 분할 및 다중 시점 시각 기하학을 지원합니다.
• 작업별 헤드 불필요: 전문화된 예측 헤드나 디코더 없이 작동합니다.
• 대규모 코퍼스: 학습을 위한 SenseNova-Vision Corpus-50M을 포함합니다.