MIV-XJTU/JanusVLN

[ICLR2026] Official implementation for "JanusVLN: Decoupling Semantics and Spatiality with Dual Implicit Memory for Vision-Language Navigation"

해결하는 문제

JanusVLN은 자연어 지시에 따라 3차원 환경을 탐색해야 하는 비전-언어 탐색(VLN)의 과제를 해결합니다. 특히 2차원 의미 중심 접근 방식을 넘어서 의미 이해와 3차원 공간 인식을 더 효과적으로 통합하여 탐색 정확도를 향상시키는 것을 목표로 합니다.

작동 방식

인간 뇌의 의미 처리와 공간 처리의 분리를 영감으로 받아, JanusVLN은 이중 암묵적 기억 시스템을 활용합니다. 이 시스템은 의미 이해와 공간성에서 분리된 두 개의 보완적이고 고정된 크기의 컴팩트한 신경 기억 장치로 구성되어 있으며, 에이전트가 3차원 공간에서 보다 효과적으로 이동할 수 있도록 두 가지 정보를 통합할 수 있도록 합니다.

대상 사용자

이 프로젝트는 공간적 임베디드 AI, 로보틱스, 비전-언어 탐색 에이전트를 개발하는 연구자 및 개발자를 대상으로 합니다.

주요 특징

  • 이중 암묵적 기억: 의미와 공간성을 위한 두 개의 별도 신경 기억을 사용한 최초의 VLN 프레임워크입니다.
  • 3차원 공간-의미의 융합: 단순한 2차원 의미 인식에서 통합된 3차원 공간 인식으로의 전환.
  • 포괄적인 학습 파이프라인: 기본 학습, DAgger 데이터 수집, 성능 향상을 위한 추가 학습을 지원합니다.
  • 다중 데이터셋 지원: R2R, RxR, ScaleVLN 데이터셋과 호환됩니다.

관련

  • 프로젝트
    BAAI-DCAI/SpatialBot

    SpatialBot은 VLM의 공간 이해와 깊이 인식을 향상시키는 시각-언어-행동 모델로, 정밀한 공간 추론과 로봇 조작을 가능하게 합니다.

  • 프로젝트
    IBM/LNN

    LNN은 논리 공식을 가중치가 있는 신경망으로 표현하는 파이썬 라이브러리로, 모순되거나 불완전한 지식이 있어도 해석 가능하고 미분 가능한 추론과 학습을 가능하게 합니다.

  • 프로젝트
    bytedance/Sa2VA

    Sa2VA는 SAM-2 세그멘테이션과 멀티모달 LLM(InternVL, Qwen-VL)을 결합하여 이미지와 비디오에 대한 픽셀 수준의 근거 기반 이해를 제공하는 ByteDance의 연구용 코드베이스입니다. 핵심 Sa2VA 모델, VRT 추론 벤치마크, SAMTok 마스크-토큰 인터페이스, SaSaSa2VA와 같은 확장 모델을 포함합니다. 이 저장소는 재현 가능한 환경을 위해 `uv` 패키지 관리자를 사용하며, 설정 스크립트를 제공하고 논문, 모델 쥬, 데이터셋 링크를 제공합니다.

  • 프로젝트
    Wakals/CoVT

    CoVT는 시각-언어 모델이 연속적 시각 토큰을 사용해 추론할 수 있도록 하는 프레임워크로, 의미적 사고를 지각적 신호에 기반시켜 공간적 추론과 기하학적 인식을 향상시킵니다.

  • 프로젝트
    facebookresearch/VLM3

    VLM³은 텍스트 기반 출력과 데이터 스케일링만을 사용하여 표준 비전 언어 모델(VLM)이 깊이 추정 및 카메라 자세 추정과 같은 3D 비전 작업을 수행할 수 있도록 하는 프레임워크입니다.