JEPA 월드 모델: 재학습 없이 계획 최적화하기
계획을 통한 월드 모델 성능 향상
Joint-Embedding Predictive Architecture (JEPA) 모델, 특히 LeWorldModel (LeWM)에 대한 최근 실험 결과에 따르면, 장기 작업(long-horizon tasks)의 주요 병목 현상은 모델 예측의 품질이 아니라 계획에 사용되는 전략인 것으로 나타났습니다. 계층적 계획과 메모리 기반 목표 선택을 구현함으로써 연구자들은 모델의 가중치를 재학습하지 않고도 상당한 성능 향상을 달성할 수 있습니다.
계획 지평(Planning Horizon)의 병목 현상
일반적인 LeWM 모델은 장기 작업(예: 75단계)에서는 어려움을 겪지만, 더 짧은 간격(예: 25단계)에서는 높은 정확도로 수행합니다. 실험 데이터에 따르면 75단계 작업을 3개의 25단계 세그먼트로 나누면 성공률이 22%에서 80%로 증가합니다. 이는 모델의 유용성이 효과적인 계획 지평에 의해 제한되며, 단일 장거리 예측을 최적화하려는 것보다 더 짧고 정확한 탐색을 연결하는 것이 더 효과적임을 시사합니다.
잠재 메모리 그래프(Latent Memory Graphs) 활용
배포 중 전문가 시연에 대한 의존도를 없애기 위해 기존 시연 데이터를 사용하여 잠재 메모리 그래프를 구성할 수 있습니다. 이러한 프레임을 임베딩하고 연결함으로써 플래너는 시작 상태에서 목표 상태로 이동할 수 있습니다. 모델이 물리적으로 불가능한 경로를 생성하는 것을 방지하기 위해 서로 다른 시연 간의 점프에 비용 페널티를 적용해야 합니다. 이 방법을 사용하면 모델이 전문가가 제공한 하위 목표를 사용하는 것과 비슷한 성능을 달성할 수 있습니다.
대칭성을 통한 데이터 증강
블록 밀기와 같은 물리적 작업은 회전, 평행 이동, 미러링에 대해 불변하므로 기존 시연 세그먼트를 변형하여 메모리 격차를 메울 수 있습니다. 이 접근 방식을 사용하면 모델이 원래 훈련 데이터의 직접적인 경로 밖에 있는 목표를 처리할 수 있어, 어려운 분포 외(out-of-distribution) 작업에서 성공률을 높일 수 있습니다.
목표 명세의 영향
표준 계획은 비용 함수에 대상 물체 외에도 로봇의 엔드 이펙터 위치(푸셔)가 포함되기 때문에 실패하는 경우가 많습니다. 목표 이미지에는 특정 푸셔 위치가 포함되어 있으므로 모델은 둘 다 일치시키려고 시도하는데, 이는 종종 불필요하고 지나치게 제한적입니다. 비용 함수에서 푸셔를 제거하거나 여러 유효한 푸셔 위치를 검색하면 모델이 관련 없는 시각적 세부 사항을 일치시키는 대신 작업 목표에 집중할 수 있게 되어 성공률을 크게 높일 수 있습니다.
커뮤니티 관점
이러한 발견을 둘러싼 논의는 JEPA와 고전 제어 이론 간의 관계를 강조합니다. 일부 관찰자들은 JEPA가 '모델'이 학습된 잠재 공간 표현인 모델 예측 제어(MPC)와 유사하게 작동한다고 지적합니다. 다른 사람들은 평가 방법론에 대해 의문을 제기하며, 시연에서 파생된 목표에 의존하는 것이 훈련 분포에 대한 과적합으로 이어질 수 있다고 제안했습니다.
"JEPA는 모델 예측 제어와 매우 유사합니다. 여기서는 시스템 모델을 블랙박스 시뮬레이터(신경망)로 교체하고, 동적 계획법/벨만 방정식의 일부 버전을 적용하여 계획 지평에 걸친 최적의 행동을 찾습니다. 계획 단계에서 최적화 단계를 롤아웃 단계에서 분리함으로써 모델이 잠재 공간에서 역학을 학습하는 데 집중할 수 있도록 자유를 줄 수 있습니다." — @hazrmard
"이것은 시연 후 불완전한 상태나 손실된 기억을 복구하는 흥미로운 기술입니다. 원래 LeWM에는 변형 가능한 메모리 기술이 없다고 추측해도 될까요?" — @rvz
Sources
관련
- Dispatch
- 프로젝트
- Dispatch
- Dispatch