mosaico-labs/mosaico
Mosaico - The data platform for Physical AI
해결하는 문제
Mosaico는 로보틱스 및 Physical AI를 위한 데이터 관리 및 검색의 어려움을 해결합니다. 쿼리가 어렵고 현대적인 AI 모델 학습에 필요한 조밀하고 동기화된 텐서 형식과 호환되지 않는 단일 구조의 비동기 센서 로그(ROS bags 등) 문제를 해결합니다.
작동 방식
이 플랫폼은 Rust 기반의 백엔드 데몬 (mosaicod)과 Python SDK로 구성된 클라이언트-서버 아키텍처를 사용합니다. 제로 카피(zero-copy) 아키텍처를 사용하여 원시 센서 데이터를 구조화된 쿼리 가능 아카이브로 변환함으로써, 파일 전체를 파싱하지 않고도 신호에 대한 직접적인 랜덤 액세스를 가능하게 합니다. 시스템은 의미론적 이해를 보장하기 위해 엄격하게 타이핑된 데이터 온톨로지를 채택하고, 결정론적인 데이터 리니지를 유지하기 위해 불변의 데이터 레이어를 사용합니다.
대상 사용자
이벤트 기반의 클래식 로보틱스 데이터에서 Physical AI 모델 학습에 필요한 동기화된 테이블 형식의 데이터로 전환해야 하는 로보틱스 엔지니어 및 AI 연구자.
관련
- 프로젝트
dora-rs/dora0-복사 공유 메모리와 Apache Arrow를 사용하여 지연을 최소화하는 Rust 기반의 고성능 프레임워크입니다.
- 프로젝트
mosecorg/mosecMosec은 Rust 기반의 Python 친화적인 모델 서빙 프레임워크로, 동적 배치 처리, 다단계 파이프라인, 내장 메트릭을 제공합니다. pip/conda로 설치하고 Worker 서브클래스의 forward 메서드를 정의한 뒤 Server를 실행하면 모든 ML 모델(예: Stable Diffusion)을 빠른 HTTP API로 노출할 수 있습니다.
- 프로젝트
foxglove/foxglove-sdk스트리밍 또는 MCAP 파일을 통해 다중 모달 로보틱스 데이터를 로깅하고 시각화하는 라이브러리 모음. Python, C++, Rust, ROS를 지원.
- 프로젝트
OpenDCAI/DataFlowDataFlow는 LLM 학습 데이터 생성, 정제, 평가를 위한 저코드 파이프라인을 구축, 실행, 공유할 수 있는 오픈소스 파이썬 프레임워크입니다. 재사용 가능한 오퍼레이터 라이브러리, 시각적 웹 UI, 자동 파이프라인 생성을 위한 AI 어시스턴트, 그리고 Ray 기반 분산 실행 계층을 제공합니다.
- 프로젝트
airbnb/chrononAI/ML용 데이터 플랫폼으로 데이터 계산과 제공을 추상화하여, 오프라인 학습 데이터와 온라인 실시간 특징 제공 간 시점 일관성을 보장합니다.