v-modal/vmodal_sdk_robotics

Robotics vision SDK

解决的问题

此 SDK 为机器人技术和物理 AI 提供具备崩溃恢复能力的数据上传通道,专门设计用于将 LeRobot 数据集工件(视频、遥测数据和元数据)从机器人移动到远程服务器,避免在网络不稳定或电源故障期间发生数据丢失的风险。

工作原理

系统使用“交接协议”,录制器关闭文件并发布 .ready.json 清单。SDK 接着:

  1. 验证与暂存:验证清单并将引用的文件复制到持久的本地暂存区(使用 SQLite 的 WAL 模式进行状态跟踪,并使用原子文件操作处理数据)。
  2. 独立通道:通过视频和辅助数据(遥测/元数据)的独立异步通道处理上传,确保大型视频文件不会阻塞关键遥测数据。
  3. 可靠传输:管理指数退避的重试机制,并执行“重启协调”以恢复因崩溃或电源中断而中断的上传状态。
  4. 传输抽象化:狭窄的 Transport 接口允许 SDK 与各种后端(如 S3、R2 或 V-Modal 云)配合使用,无需录制器依赖这些客户端。

适用对象

使用 LeRobot 框架的机器人工程师和 AI 研究人员,他们需要一种可靠的方式,从经历间歇性连接或电源循环的硬件,将数据集捕获内容流式传输到云或本地存储。

亮点

  • 崩溃恢复能力:使用 fsync、原子重命名和 SQLite WAL 模式,确保数据在进程崩溃和电源中断后仍能存活。
  • 校验和键控暂存:每个工件都通过 SHA-256 哈希跟踪,以防止损坏并确保身份稳定性。
  • 通道独立性:通过分离视频和辅助数据流,防止遥测数据饥饿。
  • 严格交接:强制明确边界,录制器拥有可变文件,上传器拥有不可变字节。
  • 低依赖足迹:核心运行时仅需 CPython 和 Fire,避免在机器人上依赖 PyTorch 或 ROS 等重型依赖。

相关

  • 项目
  • 项目
  • 项目
  • 项目