rerun: 물리적 AI 및 로보틱스를 위한 멀티모달 데이터 레이어 및 시각적 디버거

해결하는 문제

Rerun은 멀티모달 데이터를 위한 시각적 및 시간적 디버거입니다. 텍스트 로그만으로는 불충분한 복잡한 AI 및 로보틱스 시스템의 디버깅 문제를 해결합니다. 단순한 로그에 의존하는 대신, 개발자는 카메라 피드, lidar 스캔, 3D 맵과 같이 로봇의 내부 세계 표현이 시간이 지남에 따라 어떻게 변화하는지 시각화할 수 있어, 시스템이 정확히 언제 그리고 왜 실패하는지 정확히 찾아낼 수 있습니다.

작동 방식

목적에 맞게 설계된 컬럼 청크(column-chunk) 저장 시스템을 사용하여 Rust로 구축된 Rerun은 로봇 로그, 시뮬레이션, 웹 비디오와 같은 다양한 소스로부터 멀티레이트(multi-rate), 멀티모달 데이터를(이미지, 포인트 클라우드, 텐서, 조인트 상태 포함) 수집합니다. 데이터를 기록하기 위한 Python, Rust, C++ SDK를 제공하며, 이러한 스트림을 실시간으로 동기화하여 렌더링하는 전용 뷰어를 제공합니다. 또한 데이터는 데이터프레임이나 SQL을 통해 쿼리할 수 있어, 개발자가 훈련 및 평가를 위한 깨끗한 데이터셋을 추출할 수 있습니다.

대상 사용자

센서, 시간에 따라 변화하는 2D/3D 상태를 다루는 개발자, 특히 로보틱스, 컴퓨터 비전 및 시뮬레이션 분야의 개발자를 위해 설계되었습니다.

주요 특징

• 멀티모달 지원: 이미지, 포인트 클라우드, 시계열, 텐서, 변환(transforms), 조인트 상태를 처리합니다.
• 시간적 디버깅: 내장된 뷰어를 통해 사용자는 에피소드를 훑어보며 센서를 나란히 비교할 수 있습니다.
• 훈련 통합: 데이터 내보내기 작업 없이 데이터를 훈련 파이프라인으로 직접 스트리밍할 수 있습니다.
• 교차 언어 SDK: Python, Rust, C++를 완벽하게 지원합니다.
• 유연한 수집: MCAP 및 LeRobot과 같은 형식과 호환됩니다.