Mosi-AI/RoboICL
Embodied In-Context Learning for GPT-6 Astra
解決する課題
RoboICLは、高コストな再学習や専門的なロボット制御モデルを必要とせずに、ロボットが新しいタスクを学習できるようにするという課題に対処します。汎用的な視覚言語モデルが、わずかなデモンストレーションや自身の実行履歴のみを使用して、その場でタスクに適応することでロボットを制御することを可能にします。
仕組み
このフレームワークは、視覚言語モデル（具体的には GPT-6 Astra）をロボットシミュレーターに接続します。主に2つのコンテキストソースを使用します：デモンストレーションコンテキスト（記録されたロボットの軌跡）とインタラクションメモリ（モデル自身の過去の行動とフィードバック）です。これらは、観測をアクションにマッピングする共有文法を使用してモデルに提示されます。システムは境界付きメモリを維持し、重要な過去のインタラクションを保持しながら、即時の修正のために最新の結果を優先します。
対象読者
このプロジェクトは、ロボット工学や具身化AI（Embodied AI）の研究者や開発者で、大規模マルチモーダルモデルを使用したロボット制御を試したいと考えている方を対象としています。RoboDojo ベンチマークや Isaac Sim 環境を使用する方向けに設計されています。
ハイライト
- パラメータ更新なしでのゼロショットおよびワンショット学習機能。
- 一貫した観測-アクションループのための共有インタラクション文法の使用。
- 長期的なコンテキストと即時のフィードバックのバランスを取るための境界付きメモリ管理。
- デュアルアームのデカルト座標アクションをサポートする、RoboDojo ベンチマーク用の完全なランナーが含まれています。
- 複雑な依存関係要件を処理するために、シミュレーションとポリシー実行のための個別の Python 環境を調整します。
関連
- プロジェクト
syswonder/robonixRobonixは、具現化AI（Embodied AI）のためのオープンソースの自律型オペレーティングシステムです。LLM/VLMモデルを使用して自然言語コマンドをロボットタスク記述言語（RTDL）プログラムに変換し、実機やシミュレーション上の多様なロボットで実行します。システムは、バージョン管理されたコントラクトを通じて登録される階層的な抽象化（プリミティブ、サービス、スキル、タスク）に基づいて構築されており、ハードウェアとソフトウェアの分離と異種プラットフォーム間での再利用を可能にします。READMEには、Rust、uv、Dockerのインストール、`rbnx` CLIのビルド、Webotsシミュレーターの実行、OpenAI互換VLMエンドポイントを使用したシステムの起動を含むクイックスタートガイドが記載されています。豊富なパッケージカタログには、実機およびシミュレーションの両方でサポートされている数十種類のロボットがリストされています。プロジェクトはMulan PSL-2.0ライセンスの下で公開されています。
- プロジェクト
OpenBMB/DeepThinkVLADeepThinkVLAは、ロボットの行動を生成する前に明示的な連鎖的思考（CoT）の推論ステップを挿入する視覚言語行動モデルです。自己回帰的推論 → 並列行動生成というハイブリッドデコーダーを採用し、新たに作成されたエムベデッドCoTデータセットで訓練した後、成果志向の強化学習で最適化します。このモデルはLIBEROベンチマークで平均97 %の成功確率を達成し、純粋な自己回帰ベースラインの0.175×の遅延で動作し、新しいLIBERO Plusスイートへのゼロショット転移も可能になっています。
- プロジェクト
open-gigaai/giga-brain-0GigaBrain‑0.7 は、ロボット向けのオープンソースで大規模な視覚言語行動モデルです。37,000時間の多様な身体化データで事前学習されており、8種類のロボット身体化をサポート。トレーニングスクリプト、ベンチマークスイート（VLM‑Benchmark、RoboColiseum、RoboTwin 2.0、EBench）、ROSと統合可能な即時実行可能なインファレンスサーバーを同梱しています。
- プロジェクト
2toinf/X-VLAX‑VLA 是一个 Transformer 模型，统一了视觉、语言和机器人本体感知，以预测多种机器人类型的动作。它使用可学习的软提示（soft prompts）为每个本体定制共享骨干网络，作为 REST 推理服务器运行，并在 Hugging Face 上提供许多预训练检查点（基础模型和机器人专用模型）。该仓库包含安装脚本、服务器/客户端代码以及针对自定义机器人数据集进行微调的说明。
- プロジェクト
Robbyant/lingbot-vla-v2LingBot‑VLA 2.0は、ロボット向けのオープンソースのVision‑Language‑Action基盤モデルです。多様なロボットの形態を55次元の動作ベクトルに統合し、MoE層とデュアルクエリ蒸留（深度 + 未来のビデオ）を用いて予測ダイナミクスを学習します。約6万時間のロボットおよびエゴセントリックビデオデータで学習されており、condaベースのインストール、6Bパラメータのチェックポイントダウンロード用スクリプト、データ準備ツール、カスタムデータセットでの事後学習、RoboTwinベンチマークや実機での評価ツールを提供します。報告された結果では、両腕および移動操作タスクにおいて1.0バージョンから顕著な向上が見られます。