dexmal/opendw

An Open-Source World Model for Action-Conditioned Embodied Intelligence.

解決的問題

DW05是一個為具身智能設計的多模態世界模型。它幫助機器人基於當前觀察理解特定動作如何導致未來結果，透過預測未來影片序列、生成動作和估計狀態價值來實現。

工作原理

DW05使用基於Wan骨幹構建的專家混合（MoT）框架。它處理包括語言、影像/影片、機器人類型、狀態和動作在內的輸入。該骨幹饋送到三個專門的專家頭：一個用於影片預測，一個用於動作生成，一個用於狀態價值估計。

適用對象

本專案面向從事機器人學習、具身AI和機器人決策世界模型的研究人員和開發者。

亮點

  • 統一框架：在單一模型中結合影片預測、動作生成和價值估計。
  • 多模態輸入：支援語言、視覺觀察和機器人狀態/本體感覺。
  • 預訓練權重：透過Hugging Face提供基礎和微調（SFT-RBT）檢查點。
  • 動作條件展開：能夠基於機器人觀察和動作預測未來影片。

相關

  • 專案
    PetoiCamp/OpenCatEsp32-Quadruped-Robot

    OpenCatESP32 是運行在 ESP32 基礎 BiBoard 上的固件，用於 Petoi 的開源四足機器人（Bittle X、Nybble Q 和即將推出的 Quaddle）。它提供即時步態控制、動作錄製「木偶模式」，以及足夠的處理能力用於視覺或強化學習實驗，所有功能均可透過 Arduino IDE 編程實現。

  • 專案
    vuer-ai/vuer

    一個用於在瀏覽器、行動裝置以及 VR/AR 中與動態 3D 和機器人數據進行互動的事件驅動、宣告式視覺化工具包。

  • 專案
    facebookresearch/momentum

    用於人體運動學運動與身體追蹤的基礎演算法與數值最佳化求解器庫。

  • 專案
    lucidrains/q-transformer

    Q‑Transformer 是一個 PyTorch 庫，實現了用於可擴展離線強化學習的自回歸 Q 函數方法，專為結合影片觀測與語言指示的機器人任務而設計。它提供視覺 Transformer 模型、資料收集代理、回放記憶資料集與 Q 學習訓練器，可透過 `pip install q-transformer` 安裝。