MIV-XJTU/JanusVLN

[ICLR2026] Official implementation for "JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation"

何を解決するか

JanusVLNは、自然言語の指示に基づいて3D環境をナビゲートする必要があるエージェントが直面するビジョン・ランゲージ・ナビゲーション（VLN）の課題に対処します。特に、2Dの意味論に偏ったアプローチから脱却し、意味理解と3D空間認知をより効果的に統合することで、ナビゲーションの正確性を向上させることを目指しています。

動作原理

人間の脳における意味処理と空間処理の分離に着想を得て、JanusVLNは二重の暗黙的記憶システムを採用しています。このシステムは、意味理解と空間性を分離する2つの補完的で固定サイズのコンパクトなニューラルメモリから構成されており、エージェントが3D空間での移動をより効果的に行うために、両方の情報を統合できるようにします。

対象ユーザー

本プロジェクトは、空間的エムベデッドAI、ロボット工学、ビジョン・ランゲージ・ナビゲーションエージェントの開発に取り組む研究者や開発者を対象としています。

主な特徴

  • 二重暗黙的記憶: 意味と空間性に分けて使用する2つの独立したニューラルメモリを採用した初のVLNフレームワーク。
  • 3D空間-意味の統合: 単純な2D意味認識から、統合された3D空間認識へのシフト。
  • 包括的なトレーニングパイプライン: ベーストレーニング、DAggerデータ収集、および追加トレーニングをサポートし、性能向上を実現。
  • 複数データセット対応: R2R、RxR、ScaleVLNデータセットと互換性あり。

関連

  • プロジェクト
    BAAI-DCAI/SpatialBot

    SpatialBotは、VLMにおける空間理解と奥行き認識を強化する視覚言語行動モデルであり、正確な空間推論とロボット操作を可能にします。

  • プロジェクト
    IBM/LNN

    LNN は、論理式を重み付きニューラルネットワークとして表現する Python ライブラリであり、矛盾や不完全な知識があっても、解釈可能で微分可能な推論と学習を可能にします。

  • プロジェクト
    bytedance/Sa2VA

    Sa2VAは、SAM‑2セグメンテーションとマルチモーダルLLM (InternVL, Qwen‑VL) を融合させ、画像や動画のピクセルレベルのグラウンデッドな理解を提供するための、ByteDanceの研究用コードベースです。コアとなるSa2VAモデル、VRT推論ベンチマーク、SAMTokマスク・トークン・インターフェース、および SaSaSa2VA のような拡張機能が含まれています。リポジトリは再現可能な環境構築のために `uv` パッケージマネージャーを使用し、セットアップスクリプトを提供し、論文、モデル・ズー、モデル・データセットへのリンクを提供しています。

  • プロジェクト
    Wakals/CoVT

    CoVTは、視覚言語モデルが連続的視覚トークンを使用して推論できるフレームワークであり、意味的な思考を知覚的手がかりに根ざさせることで、空間的推論力と幾何認識能力を向上させます。

  • プロジェクト
    facebookresearch/VLM3

    VLM³は、テキストベースの出力とデータスケーリングのみを使用して、標準的なビジョン言語モデル（VLM）が深度推定やカメラポーズ推定などの3Dビジョンタスクを実行できるようにするフレームワークです。