NVlabs/GraspGen

解决的问题

GraspGen 是一个用于 6-DOF 机器人抓取的框架，允许机器人在多样化的环境中确定如何拿起物体。它解决了在不同夹持器类型、不同 3D 可观测性水平（部分 vs 完整点云）以及从单个物体到杂乱环境的不同场景复杂度下，生成高质量抓取姿态的挑战。

工作原理

该系统使用基于扩散的框架来生成 6-DOF 抓取候选方案。它采用模块化架构，可以适应不同的具身形态（例如工业夹持器或吸盘）。为了确保生成的抓取质量，它使用抓取判别器对候选方案进行评分和排序。该框架支持多种输入格式，包括分割的物体点云、3D 网格 (OBJ, STL, PLY, USD) 以及带有可选碰撞过滤的全场景点云，以确保机器人不会与环境发生碰撞。

适用对象

本项目专为正在为工业或研究机器人（例如 Franka Panda, Robotiq-2f-140）构建抓取系统的机器人研究人员和开发人员设计。它也适用于通过工具调用接口将机器人抓取集成到 LLM 驱动的智能体中的用户。

亮点

• 跨具身支持：支持多种夹持器类型，包括夹持器和吸盘。
• 高性能：在 FetchBench 基准测试中实现了最先进的性能（提升 17%），同时内存效率提高了 21 倍。
• 实时推理：在 TensorRT 优化之前即可达到 20 Hz 的运行速度。
• LLM 集成：包含 Model Context Protocol (MCP) 和基于 ZMQ 的服务器，允许 LLM 将抓取作为工具调用。
• 鲁棒性：能够处理部分和完整的 3D 点云，并支持在杂乱场景中生成无碰撞的抓取。