NVlabs/GraspGen

解決的問題

GraspGen 是一個用於 6-DOF 機器人抓取的框架，允許機器人在多樣化的環境中決定如何拿起物體。它解決了在不同夾持器類型、不同 3D 可觀測性水平（部分 vs 完整點雲）以及從單個物體到雜亂環境的不同場景複雜度下，生成高品質抓取姿勢的挑戰。

工作原理

該系統使用基於擴散的框架來生成 6-DOF 抓取候選方案。它採用模組化架構，可以適應不同的具身形態（例如工業夾持器或吸盤）。為了確保生成的抓取品質，它使用抓取判別器對候選方案進行評分和排序。該框架支援多種輸入格式，包括分割的物體點雲、3D 網格 (OBJ, STL, PLY, USD) 以及帶有可選碰撞過濾的全場景點雲，以確保機器人不會與環境發生碰撞。

適用對象

本專案專為正在為工業或研究機器人（例如 Franka Panda, Robotiq-2f-140）構建抓取系統的機器人研究人員和開發人員設計。它也適用於透過工具調用介面將機器人抓取整合到 LLM 驅動的代理中的用戶。

亮點

• 跨具身支援：支援多種夾持器類型，包括夾持器和吸盤。
• 高性能：在 FetchBench 基準測試中實現了最先進的性能（提升 17%），同時記憶體效率提高了 21 倍。
• 即時推理：在 TensorRT 優化之前即可達到 20 Hz 的運行速度。
• LLM 整合：包含 Model Context Protocol (MCP) 和基於 ZMQ 的伺服器，允許 LLM 將抓取作為工具調用。
• 魯棒性：能夠處理部分和完整的 3D 點雲，並支援在雜亂場景中生成無碰撞的抓取。