NVlabs/GraspGen

解決する課題

GraspGenは、ロボットが多様な環境で物体をどのように掴むかを決定できるようにする、6自由度ロボット把持のためのフレームワークです。これは、異なるグリッパータイプ、異なる3D観測レベル（部分的な点群 vs 完全な点群）、および単一の物体から乱雑な環境までの異なるシーンの複雑さにわたって、高品質な把持ポーズを生成するという課題に対処します。

仕組み

このシステムは、拡散ベースのフレームワークを使用して6自由度の把持候補を生成します。産業用ピンチグリッパーや吸引カップなどの異なる形態に適応できるモジュール式アーキテクチャを採用しています。生成された把持の品質を確保するために、候補をスコアリングしてランク付けする把持ディスクリミネータを使用します。このフレームワークは、セグメント化されたオブジェクトの点群、3Dメッシュ (OBJ, STL, PLY, USD)、およびロボットが環境と衝突しないようにするためのオプションの衝突フィルタリングを備えたフルシーンの点群を含む、さまざまな入力形式をサポートしています。

対象者

このプロジェクトは、産業用または研究用ロボット (例: Franka Panda, Robotiq-2f-140) の把持システムを構築しているロボット研究者および開発者向けに設計されています。また、ツール呼び出しインターフェースを介してロボットの把持をLLM駆動のエージェントに統合しようとしている方にも適しています。

ハイライト

• クロスエンボディメント対応: ピンチグリッパーや吸引カップを含む複数のグリッパータイプに対応しています。
• 高いパフォーマンス: FetchBenchベンチマークで最先端のパフォーマンスを達成し（17%向上）、メモリ効率は21倍向上しています。
• リアルタイム推論: TensorRTの最適化前でも20 Hzでの実行が可能です。
• LLM統合: LLMがツールとして把持を呼び出せるように、Model Context Protocol (MCP) と ZMQベースのサーバーが含まれています。
• 堅牢性: 部分的な点群と完全な3D点群の両方を処理し、乱雑なシーンでの衝突のない把持生成をサポートします。