GaTech-RL2/EgoVerse

它解決的問題

EgoVerse 提供了一個框架和資料集，用於從第一人稱（自我中心）資料中學習機器人。它特別針對透過第一人稱視角記錄的人類示範來訓練機器人執行任務的挑戰，使機器人能夠從不同身體形態的多樣化真實世界人類資料中學習。

如何運作

該專案實現了一個將原始第一人稱資料（例如來自 Aria 眼鏡或 Aloha 的資料）轉換為標準 Zarr 格式的處理流程。它使用統一的身體形態系統，將人類示範與機器人資料（特別是 Eva 機器人）對齊，使它們的末端執行器方向和姿態保持一致。這允許使用 ACT、Pi 和 EgoMimic（基於 HPT 的）等演算法進行聯合訓練和可視化。

適用對象

希望使用人類第一人稱示範和標準化資料處理工具來訓練機器人的機器人學習與具身人工智慧研究人員和開發者。

主要特色

• 多身體形態支援：將各種人類資料來源整合為統一的人類身體形態，便於與機器人進行聯合訓練。
• 標準化資料格式：使用 Zarr 儲存進行高效資料處理，並包含必要的相機內參數以確保準確渲染。
• 整合式可視化：內建本地網頁應用程式（latent_inspector.py），可互動式瀏覽各個劇情，包括軌跡、方向和關鍵點的疊加顯示。
• 多樣化演算法支援：提供多種模仿學習演算法（包括 ACT 和 Pi）的訓練指令碼。