ZhuoyangLiu2005/T-Rex

何を解決するか

T-Rexはロボット操作における動的タッチ反応の欠如に対処します。多くのビジョン・言語・アクション（VLA）モデルが静的タッチエンコーダーに依存するか、タッチを完全に無視する一方で、T-Rexは高周波のタッチ信号にリアルタイムで反応できるようにし、変形性のある物体の操作や微細な力制御を必要とするタスクに不可欠です。

動作原理

• 非同期混合変換器（MoT）： Qwen3-VL-2Bを基盤として、異なる周波数で動作する3つの専門的エキスパート（潜在、アクション、タッチ）を使用。『遅い』アクションノイズ除去プロセス（約5 Hz）は一般的な推論を処理し、『速い』タッチ精緻化プロセス（約20 Hz）により、アクションチャンク内でビジョンスタック全体を再実行せずにロボットの動きを調整できます。
• 段階的フロー・マッチング： このメカニズムにより、遅いエキスパートと速いエキスパートが結合され、接触に応じてポリシーが動的に反応可能になります。
• 時系列タッチVQ-VAE： 1次元畳み込みVQ-VAEにより、時間経過に伴う高周波の力および変形データをトークン化し、モデルがタッチ信号を離散トークンとして処理できるようにします。
• 3段階トレーニング： 大規模なタッチなし事前学習、その後タッチ反応型の中間学習、最後にタスク固有の後学習を経てシステムを訓練します。

対象ユーザー

• 指先操作技術に関するロボット研究者およびエンジニア。
• 接触が多いタスク向けVLAモデルを開発する開発者。
• Dexmate Vega-1や同様のバイマンユアルロボットシステムのユーザー。

主な特徴

• タッチ反応型データセット： 100時間分のデータセット（うち50時間はオープンソース）を含み、22種類のモーター素子と200以上の物体を収録。
• 高周波応答： 12の接触豊富なタスクにおいて、強力なベースラインと比較して平均成功率が30%高い。
• 埋め込み型トークナイザー： タッチVQ-VAEはモデルに直接埋め込むことができ、リアルタイムで生のタッチデータをエンコード可能。
• 完全なスタック： マニュアルグローブとVIVEトラッカーを用いた遠隔操作コードを含む、データ収集の完全なスタックを提供。