liangnjupt/VisTouch

解决的问题

VisTouch 提供了一个大规模、同步的机器人滑动接触数据集，帮助 AI 模型学习识别材料，并理解视觉、声音和触觉之间的关系。它解决了机器人交互中缺乏严格对齐这三种模态的公开数据集的问题。

工作原理

使用机器人臂和灵巧手，系统在手滑过八种不同材料（如黄铜、丝绸和木材）时，同步记录视频、音频和力-触觉轨迹。数据通过共享的墙钟严格同步，确保每一帧视频、每一个音频样本和每一次触觉读数都与同一事件对齐。

适用对象

需要高质量配对数据来训练模型的多模态学习、机器人感知和触觉反馈系统的研究人员和开发者。

主要亮点

• 严格同步：首个提供视觉、声音和力-触觉信号在事件级别同步的公开数据集。
• 多样材料：包含 10,498 个同步片段，覆盖八种不同材料。
• 多模态基准：包含材料识别、触觉超分辨率和跨模态生成（例如，从声音生成触觉力）的基线模型。
• 全面硬件：使用 2K 摄像头、专业麦克风以及灵巧手集成的压力/力传感器采集数据。