OpenMOSS/EasyWAM

A unified framework for training, fine-tuning, and evaluating World Action Models

EasyWAM – 世界行動模型的統一框架

是什麼 – EasyWAM 是一個開源的研究程式碼庫，可讓您訓練與評估 世界行動模型（WAMs）。WAMs 是神經網路，能從多模態輸入中預測未來的影片幀與機器人動作，使具身式AI代理能在模擬環境中進行規劃與行動。

為何重要 – 訓練此類模型計算成本極高，且需大量工程工作（資料載入、影片解碼、分散式訓練、檢查點處理、在多個機器人模擬器上評估）。EasyWAM 將所有這些元件整合至單一、模組化的框架中，讓研究人員能專注於模型構思，而非工程負擔。

核心功能（如 README 所述）

統一且模組化設計 – 模型、資料、訓練與評估共享共同介面，方便插入新的 WAM 架構。
性能優先 – 內建支援 FlashAttention 2/3/4、BF16、梯度檢查點、DeepSpeed ZeRO-1/2 與 LoRA。作者報告在 8 × H100 GPU 上，相比原始 FastWAM 程式碼，速度提升 2.7 倍。
端對端流程 – 稀疏影片解碼、索引式文字快取、持續工作進程、提示快取與可恢復評估，減少重複工作。
基於 Hydra 的設定 – 所有超參數以易於覆蓋的 YAML 檔案表達；啟動指令碼可直接接受 Hydra 覆蓋參數。
多基準支援 – 提供 LIBERO、LIBERO-Plus、RoboTwin、RoboDojo 與 RoboCasa365 的即用型配方，每項均支援全參數與 LoRA 微調模式。
後端彈性 – 支援三種大型視覺-語言後端：Wan2.2-TI2V-5B、Cosmos-Predict2.5-2B 與 FLUX.2 Klein-4B。

支援模型（快速概覽）

模型	架構	全參數訓練	LoRA 微調
EasyWAM-Unified	單一後端影片 DiT（聯合影片＋動作）	✅	✅
EasyWAM-MoT	雙後端混合自注意力（僅動作）	✅	✅
EasyWAM-MoT-Joint	雙後端，聯合影片＋動作去噪	✅	✅
EasyWAM-MoT-IDM	雙後端，教師強制影片用於動作預測	✅	✅
EasyWAM-Hidden	影片 DiT 特徵條件化獨立的 Action DiT	✅	✅

快速上手（來自 README）

建立 conda 環境

conda create -n easywam python=3.10 -y
conda activate easywam

安裝 PyTorch（CUDA 12.8）與套件

pip install -U pip
pip install torch==2.7.1 torchvision==0.22.1 \
    --extra-index-url https://download.pytorch.org/whl/cu128
pip install -e .

（可選）安裝 FlashAttention 以取得最快注意力核心。README 列出 FA-2、FA-3 與 FA-4 的指令。
從 README 中徽章連結的 Hugging Face 收藏下載檢查點。

為將使用的基準預先計算文字嵌入，例如：

python scripts/precompute_text_embeds.py task=libero_easywam_mot_wan22

訓練 – 選擇一個啟動腳本與 Hydra 任務設定。例如在 8 個 GPU 上進行全參數訓練：

NPROC_PER_NODE=8 bash scripts/train_zero1.sh task=libero_easywam_mot_wan22

在 4 個 GPU 上進行 LoRA 訓練：

NPROC_PER_NODE=4 bash scripts/train_zero2.sh task=libero_easywam_unified_wan22_lora

評估 – 執行適當的管理腳本，並指向檢查點：
```
python experiments/libero/run_libero_manager.py \
    task=libero_easywam_mot_wan22 \
    ckpt=<path/to/checkpoint.pt>
```
LIBERO-Plus、RoboTwin、RoboDojo 與 RoboCasa365 也有類似指令。

接下來可查看

文件 – docs/ 資料夾包含後端準備、資料佈局、基準設定與設定參考的詳細指南（中英文）。
基準結果 – 請查看 docs/results/result.md 取得完整表格；README 已展示 LIBERO 與 LIBERO-Plus 的數值。
貢獻 – 專案遵循典型開源流程：發現錯誤請開 issue，提交新模型/基準的 PR，並同步更新中英文文件。

TL;DR

EasyWAM 是一個研究級、高度優化的框架，用於在機器人模擬基準上建構與測試世界行動模型。它整合現代高效技術（FlashAttention、DeepSpeed、LoRA）與多個先進後端的即用型設定，讓您從「我有一個新的 WAM 想法」到「在 LIBERO/RoboDojo 上評估的訓練模型」僅需幾條指令即可完成。