MirroS-Lab/Code-as-World

해결하는 문제

원시적인 시각 관측(픽셀)과 물리 세계에 대한 진정한 이해 사이에는 격차가 존재합니다. 픽셀은 사물이 어떻게 보이는지를 보여줄 뿐, 물체가 어떻게 행동하는지를 규정하는 근본적인 규칙, 구조, 역학을 설명하지는 않습니다. 이 프로젝트는 모델이 단순한 시각 인식을 넘어서 정량적 물리적 추론을 수행할 수 있도록 합니다.

작동 방식

Code-as-World는 물리 세계를 실행 가능한 코드로 표현합니다. 반복적인 시뮬레이션과 검증을 통해 이러한 표현을 에이전트형 프로세스로 탐색합니다. 원시 관측을 명시적인 상태, 역학, 메커니즘으로 코드로 변환함으로써, 관측된 데이터를 생성할 수 있는 물리 세계를 시뮬레이션하고 검증할 수 있으며, AI 모델에 확장 가능한 물리적 감독을 제공합니다.

대상 사용자

물리적 추론, 몸을 가진 지능, 컴퓨터 비전과 물리 시뮬레이션의 융합 분야에서 일하는 연구자 및 개발자.

주요 특징

• 실행 가능한 세계 모델: 실행하고 검증할 수 있는 코드로 물리 세계를 표현.
• 에이전트형 탐색: 시뮬레이션과 검증의 반복 과정을 통해 올바른 물리적 표현을 발견.
• 물리적 추론: QuantiPhy와 같은 정량적 물리적 추론 벤치마크에서 최고 성능 달성.
• 사전 학습 체크포인트: 4B 및 9B 파라미터 크기의 VL(시각-언어) 모델 제공.