liangpan99/TokenHSI

解決する課題

TokenHSIは、多様な人間とシーンのインタラクション（HSI）タスクを実行できる物理ベースのキャラクターを作成する際の困難を解決します。アクションごとに個別のモデルをトレーニングする代わりに、登攀、着席、物体の運搬など、多様なインタラクションを合成するための統一された方法を提供し、新しい環境や物体の形状にも適応可能です。

仕組み

このプロジェクトでは、単一のTransformerネットワークを使用し、「タスクのトークン化」(task tokenization) を採用することで、複数の基本的なHSIスキルを統合しています。これにより、モデルは一般的なインタラクションスキルセットを学習し、それらのスキルをより複雑なシナリオに適応させることができます。システムは強化学習 (rl_games を使用) を通じてトレーニングされ、IsaacGym環境でシミュレートされ、人型表現にはSMPLボディモデルを利用しています。

対象読者

主に、物理的に妥当な人間の動作合成や人型ロボットの制御に取り組んでいる、ロボティクス、コンピュータアニメーション、および具現化されたAI（Embodied AI）の研究者や開発者を対象としています。

ハイライト

• 統合モデル: 複数の基礎スキル（経路追従、着席、登攀、運搬）を1つのTransformerネットワークに統合。
• スキルの合成: 学習したスキルを組み合わせて、経路追従中や登攀中の物体の運搬といった複雑なタスクを実行可能。
• 適応性: 物体の形状の変化（箱から椅子への持ち替えなど）や地形の変化に対応。
• 長期間のタスク: 複雑で動的な環境において、長時間のタスクを完了可能。