NVlabs/GraspGen

해결하는 문제

GraspGen은 로봇이 다양한 환경에서 물체를 어떻게 집어 올릴지 결정할 수 있도록 하는 6-DOF 로봇 grasping 프레임워크입니다. 이 프레임워크는 다양한 그리퍼 타입, 다양한 수준의 3D 관측성(부분적 vs 전체 포인트 클라우드), 그리고 단일 물체부터 복잡한 환경에 이르기까지 다양한 장면 복잡도에 걸쳐 고품질의 grasp 포즈를 생성하는 문제를 해결합니다.

작동 원리

이 시스템은 확산 기반 프레임워크를 사용하여 6-DOF grasp 후보를 생성합니다. 산업용 핀치 그리퍼 또는 흡착컵과 같은 다양한 형태에 적응할 수 있는 모듈형 아키텍처를 채택하고 있습니다. 생성된 grasp의 품질을 보장하기 위해 후보의 점수를 매기고 순위를 지정하는 grasp discriminator를 사용합니다. 이 프레임워크는 세그먼트된 객체 포인트 클라우드, 3D 메쉬 (OBJ, STL, PLY, USD), 그리고 로봇이 환경과 충돌하지 않도록 선택적 충돌 필터링 기능이 포함된 전체 장면 포인트 클라우드를 포함한 다양한 입력 형식을 지원합니다.

대상 사용자

이 프로젝트는 산업용 또는 연구용 로봇 (예: Franka Panda, Robotiq-2f-140)을 위한 grasping 시스템을 구축하는 로봇 연구자 및 개발자를 위해 설계되었습니다. 또한 도구 호출 인터페이스를 통해 로봇 grasping을 LLM 기반 에이전트에 통합하려는 사용자에게도 적합합니다.

주요 특징

• 교차 엔티티 지원 (Cross-Embodiment Support): 핀치 그리퍼 및 흡착컵을 포함한 여러 그리퍼 타입을 지원합니다.
• 고성능: FetchBench 벤치마크에서 최첨단 성능을 달성(17% 향상)하는 동시에 메모리 효율성은 21배 더 높습니다.
• 실시간 추론: TensorRT 최적화 전에도 20 Hz로 실행할 수 있습니다.
• LLM 통합: LLM이 도구로서 grasping을 호출할 수 있도록 Model Context Protocol (MCP) 및 ZMQ 기반 서버를 포함합니다.
• 견고성: 부분적 및 전체 3D 포인트 클라우드를 모두 처리하며, 복잡한 장면에서 충돌 없는 grasp 생성을 지원합니다.