rerun-io/rerun

Visualize, query, and stream to train on multimodal robotics data.

What it solves

Rerun은 멀티모달 데이터를 위한 시각 및 시간 디버거입니다. 텍스트 로그만으로는 충분하지 않은 복잡한 AI 및 로봇 시스템 디버깅 문제를 해결합니다. 단순 로그에 의존하는 대신, 개발자는 로봇의 내부 세계 표현(카메라 피드, 라이다 스캔, 3D 지도 등)이 시간에 따라 어떻게 변하는지 시각화하여 시스템이 언제, 왜 실패했는지 정확히 파악할 수 있습니다.

How it works

Rust 로 구축되고 전용 컬럼‑청크 스토리지 시스템을 사용하는 Rerun은 로봇 로그, 시뮬레이션, 웹 비디오 등 다양한 소스에서 이미지, 포인트 클라우드, 텐서, 조인트 상태 등 멀티 레이트·멀티모달 데이터를 수집합니다. Python, Rust, C++ SDK 를 제공해 데이터를 기록하고, 전용 뷰어가 이 스트림들을 실시간으로 동기화하여 렌더링합니다. 데이터는 DataFrame 또는 SQL 로도 쿼리 가능해 개발자가 학습 및 평가용 깨끗한 데이터셋을 손쉽게 추출할 수 있습니다.

Who it’s for

센서와 시간에 따라 변하는 2D/3D 상태를 다루는 개발자를 위해 설계되었으며, 특히 로봇공학, 컴퓨터 비전, 시뮬레이션 분야에 종사하는 사람들을 대상으로 합니다.

Highlights

  • Multimodal Support: Handles images, point clouds, time series, tensors, transforms, and joint states.
  • Temporal Debugging: A built-in viewer allows users to scrub through episodes and compare sensors side-by-side.
  • Training Integration: Data can be streamed directly into training pipelines without the need for export jobs.
  • Cross-Language SDKs: Full support for Python, Rust, and C++.
  • Flexible Ingestion: Compatible with formats like MCAP and LeRobot.