Jianghanxiao/PhysTwin

PhysTwin – 从视频中进行物理感知的可变形物体重建与仿真

是什么

• 一个开源研究框架，通过获取软体或可变形物体（布料、绳索、毛绒玩具等）的 RGB-D 视频，构建一个数字孪生（digital twin）——一个可以进行仿真和交互的基于物理的模型。
• 该孪生体通过结合视觉线索与可微分弹簧-质点模拟器（differentiable spring-mass simulator）进行学习，因此恢复的模型符合物理约束（力、材料刚度、碰撞）。
• 一旦构建完成，该孪生体可以在交互式游乐场（interactive playground）中进行探索、可视化，或用于下游任务，如机器人规划、RL 或 XR/VR 仿真。

核心能力

能力	你将获得
重建	将原始 RGB-D 录像转换为物理感知的可变形物体模型（即“PhysTwin"）。
交互式仿真	通过基于 Gradio 的 Web UI 或本地窗口，实时（通过键盘或远程控制）与孪生体进行交互。
分析工具	可视化推断出的力、材料参数和多物体碰撞。
优化流水线	两阶段训练：首先是快速的零阶（CMA-ES）阶段，随后是使用 Nvidia Warp 进行快速收敛的第一阶基于梯度的阶段（在 RTX 4090 上处理简单案例约需 5 分钟）。
可扩展性	提供 Model-Predictive Path Integral (MPPI) 规划、批量仿真 (Boba) 和机器人-物理集成 (Real2Sim-Eval) 的示例代码。

安装

• 该仓库支持 Linux、Windows、Docker，以及一个专门针对 RTX 5090 的环境。典型的 Linux 流程是：

  conda create -n phystwin python=3.10
  conda activate phystwin
  bash ./env_install/env_install.sh          # 安装核心依赖
  bash ./env_install/download_pretrained_models.sh
  

• 如果你只需要交互式游乐场，可以跳过可选组件（Trellis, Grounding-SAM-2, RealSense, SDXL）。
• Docker 用户可以使用 ./docker_scripts/build.sh 进行构建，并在容器内运行游乐场。

数据与预训练资产

• 预处理后的数据集和模型检查点托管在 Hugging Face 上。下载 zip 文件（data.zip, experiments_optimization.zip, experiments.zip, gaussian_output.zip, 可选的 additional_data.zip）并将其解压到仓库根目录。
• 数据包括多视图 RGB-D 录像、校准文件，以及针对几种演示物体（绳索、布料、"sloth" 毛绒玩具等）的现成可用优化结果。

典型工作流程

1. 处理原始视频（如果你有自己的录像）：

   python script_process_data.py
   python export_gaussian_data.py   # 准备第一帧外观
   

2. 优化 / 训练孪生体：

   # 零阶 (快速, 粗略)   
   python script_optimize.py
   # 第一阶 (精细化)        
   python script_train.py
   

3. 运行推理 / 渲染：

   python script_inference.py
   bash gs_run.sh                 # Gaussian-splatting 渲染
   

4. 交互式探索：

   python interactive_playground.py --case_name double_lift_cloth_3 --n_ctrl_parts 2
   

   • 添加 --inv_ctrl 以翻转控制方向。
   • 使用 gradio_playground 分支进行无头服务器 Web 访问。
5. 分析（力、材料、多物体碰撞）使用提供的可视化脚本，例如：

   python visualize_force.py --case_name single_push_rope_1
   python visualize_material.py --case_name double_lift_cloth_1
   

演示亮点

• Boba (批量模拟器) 在 RTX 4090 上可以运行 >3,300 FPS，从而在几分钟内完成 RL 策略训练。
• Deform360 数据集提供了 198 种日常物体，包含从 41 个摄像头和触觉夹持器捕获的 1,980 个交互序列。
• 实时交互式游乐场在 RTX 4090 上处理 "sloth" 案例时，运行速度约为 37 FPS。

谁可能会使用它

• 构建用于机器人或 VR/AR 的软体世界模型的研究人员。
• 需要将可变形物体的真实视频转换为可仿真资产的开发人员。
• 对物理感知视频理解、可微分仿真或数据驱动的软体控制感兴趣的 anyone 。

引用 如果在研究中使用 PhysTwin，请引用随附的 ICCV 2025 论文 (arXiv 2503.17973)。README 也列出了基于 PhysTwin 构建的下游工作。

---

以上所有细节均直接取自仓库的 README；未添加任何外部假设。