datawhalechina/every-embodied

何を解決するか

Every-Embodiedは、Embodied AIへの参入障壁を下げるために設計された包括的な学習ライブラリです。基本的なシミュレーションから最先端（SOTA）モデルの再現まで、「ゼロからヒーローへ」のパスを提供することで、理論的なロボティクスと実践的な実装の間のギャップを埋め、Pythonの基礎知識のみを持つ人々でもこの分野にアクセスできるようにします。

仕組み

このプロジェクトは、学習を3つの段階的なステージに整理しています：

1. Foundations: ロボティクスの基礎、ハードウェアの選択、およびROS (Robot Operating System) に焦点を当て、ユーザーが最初のシミュレートされたロボットをセットアップするのを支援します。
2. Intermediate: コンピュータビジョン、モーションプランニング、および強化学習をカバーし、「認識・計画・把握」のクローズドループ・タスクを実装します。
3. Advanced: Imitation learning、Vision-Language-Action (VLA) モデル、Vision-Language Navigation (VLN)、およびSim2Realデプロイメントを探索し、OpenVLAやSmolVLAのような最先端のプロジェクトを再現します。

MuJoCoやIsaac Simのようなシミュレータを使用した多様なハンズオン例と、ハードウェア統合（例：RDK-X5ボードを使用したLeRobot）のためのガイドを提供します。

対象者

• Python初心者および転向中の開発者: AI + ロボティクスの分野に参入したいと考えている方。
• 学生および研究者: コースプロジェクトや論文の再現のために、実践的なスキルを迅速に構築したいと考えている方。
• アルゴリズムエンジニア: ビジョン、RL、またはLLMの機能を物理的なインタラクション・シナリオに移行することを目指している方。
• ハードウェアおよびロボティクス愛好家: 制御からSim2Realデプロイメントまでのフルパイプラインに興味がある方。

ハイライト

• 実践第一のアプローチ: フラストレーションを軽減するために、「実行し、結果を確認し、それから原理を理解する」というワークフローを強調しています。
• 幅広いSOTAのカバー範囲: 最先端のVLAモデル、ワールドモデル（例：GE-Sim 2.0, tau0-WM）、およびヒューマノイド強化学習のガイドを含んでいます。
• ハードウェア統合: 遠隔操作や特定の開発ボードへのデプロイメントを含む、実世界のロボット操作のためのチュートリアルを提供します。
• AMD ROCm Support: AMDハードウェア上でポリシーを再現するための専門的なチュートリアルを含んでいます。
• 多様なシミュレーションツール: MuJoCo、Isaac Sim、およびソフトボディ物理学のための専門的なシミュレータを含む、複数の環境を統合しています。