NVIDIA/IsaacCapture
The unified framework for sim & real robot teleoperation
解決する課題
高忠実度な人間のデモンストレーションデータを収集するための統合フレームワークを提供することで、ロボット学習におけるデータボトルネックに対処し、デバイスの統合を効率化し、異なるロボット間でのデータ相互運用性を確保します。
仕組み
Isaac Teleop は、シミュレーションと現実世界の遠隔操作の両方で機能する標準化されたデバイスインターフェースと柔軟なリターゲティングフレームワークを提供します。XR ヘッドセットやグローブなどのさまざまなハードウェアを使用してエゴセントリックデータやロボットデータをキャプチャし、グリッパーハンドや全身移動マニピュレーターなどのロボットを制御できます。
対象ユーザー
シミュレーションと現実の両方で、人間の遠隔操作を通じてロボット学習用の高品質なトレーニングデータを収集する必要があるロボット工学の研究者および開発者。
ハイライト
- シミュレーションと現実世界の遠隔操作のための統合スタック。
- ハードウェア統合を簡素化する標準化されたデバイスインターフェース。
- 人間の動きをロボットの動作にマッピングするための柔軟なリターゲティングフレームワーク。
- XR ベースのマニピュレーションや全身移動マニピュレーションを含む多様なユースケースのサポート。
関連
- プロジェクト
droidrun/mobile-harnessMobile Harness は、Python ベースの Markdown 駆動型ライブラリで、LLM エージェントが Android および iOS デバイスを制御できるようにします（ADB/Portal 経由でローカル、または Mobilerun クラウド経由でリモート）。UI 操作、スクリーンショット、アプリ起動、アクセシビリティツリーのクエリのための統一 API を提供し、AndroidWorld および iOSWorld タスクスイートでほぼ完璧なパフォーマンスを示すベンチマークを含みます。
- プロジェクト
- プロジェクト
Qpu523/VPSCI-DatasetVPSCIは、CARLAシミュレータ内での3段階の強化学習パイプラインを通じて生成された、車両と歩行者のニアミス（衝突回避）インタラクションの大規模かつ高解像度なデータセットです。8つの交差点シナリオにわたる約198kのエピソードが格納されており、20Hzで記録されたCSVファイルと対応するビデオが含まれています。人間による研究では、生成されたインタラクションは実世界の映像と区別がつかないことが示されており、そのデータセットは自動運転の安全研究において非常に価値が高いものとなります。
- プロジェクト
kesai-labs/py123dpy123d は、Argoverse 2、nuScenes、Waymo、nuPlan など多くの自動運転データセットを、高速でゼロコピーの Apache Arrow 形式に変換し、カメラ、LiDAR、地図、ラベルのための単一 API を提供する Python ライブラリです。CLI ツールによるデータのダウンロードと変換、Hydra ベースのパイプライン、インタラクティブな 3‑D ビューアを備えています。`pip install py123d`（各データセット用のオプション付き）でインストールし、提供されたコマンドでデータを取得、変換、可視化できます。