OpenSenseNova/SenseNova-Vision

解決する課題

SenseNova-Vision は、コンピュータビジョンタスクを統合マルチモーダル生成問題として定式化することで、これらのタスクの断片化を解決します。異なるタスク（物体検出、セグメンテーション、深度推定など）に対して個別のモデルやタスク固有の予測ヘッドを使用する代わりに、単一の統合マルチモーダルモデル (UMM) を使用して、ネイティブなテキストと画像の生成を通じて多様な視覚タスクを処理します。

仕組み

システムは視覚タスクを命令-応答ペアとして扱います。自然言語の命令と視覚プロンプトを使用して、タスクと出力形式を指定します。その後、モデルは3つの形式で応答を生成します：

• テキスト生成: 境界ボックス、カテゴリ、OCR 文字列、カメラパラメータなどのシンボリックレコードに使用されます。
• 画像生成: セグメンテーションマスク、深度マップ、表面法線などの高密度空間ターゲットに使用されます。
• テキストと画像の混合生成: シンボリック出力と高密度出力の両方を必要とする構成的タスクに使用されます。

これを実現するために、プロジェクトはコンピュータビジョンの命令-応答例の大規模データセットである SenseNova-Vision Corpus を導入し、アーキテクチャの分岐や特殊なデコーダーを必要とせずに事前学習済み UMM を学習させます。

対象者

• 汎用ビジョンモデルに取り組む AI 研究者および開発者。
• モデルを切り替えることなく、複数の CV タスク（検出、セグメンテーション、幾何学）を実行する単一のモデルを必要とする開発者。
• 多視点視覚幾何学と 3D 再構築に興味があるユーザー。

ハイライト

• 統合された定式化: 不均一な CV タスクを単一の入力-出力空間に変換します。
• 幅広い機能: 構造化された視覚理解、高密度な幾何学的予測、セグメンテーション、および多視点視覚幾何学をサポートします。
• タスク固有のヘッドが不要: 専用の予測ヘッドやデコーダーなしで動作します。
• 大規模なコーパス: 学習用に SenseNova-Vision Corpus-50M が含まれています。