liangpan99/TokenHSI

解决的问题

TokenHSI 解决了创建能够执行多种人机场景互动 (HSI) 任务的物理模拟角色之困难。它不再为每个动作训练单独的模型，而是提供了一种统一的方法来合成多样化的互动，例如攀爬、坐下和搬运物体，同时保持对新环境和物体形状的适应性。

运作原理

该项目使用单一 Transformer 网络，采用“任务标记化”(task tokenization) 来统一多种基础 HSI 技能。这使得模型能够学习一组通用的互动技能，然后将这些技能适应到更复杂的场景中。该系统使用强化学习 (通过 rl_games) 进行训练，并在 IsaacGym 环境中进行模拟，利用 SMPL 人体模型进行人形表示。

适用对象

这主要针对机器人、电脑动画和具身 AI 领域的研究人员与开发者，他们致力于物理上合理的动作合成和人形控制。

特点

• 统一模型：将多种基础技能（路径跟随、坐下、攀爬、搬运）结合到一个 Transformer 网络中。
• 技能组合：可以组合已学习的技能来执行复杂任务，例如在跟随路径或攀爬时搬运物体。
• 适应性：处理物体形状的变化（例如从搬运箱子切换到椅子）和地形变化。
• 长时程任务：能够在复杂、动态的环境中完成延伸任务。