facebookresearch/ai4animationpy

解決的問題

AI4AnimationPy 透過將訓練、推論與可視化整合至單一 Python 環境，解決了 AI 驅動角色動畫研究中的摩擦問題。過去，研究人員必須使用不連貫的工具——以 Python 進行模型研究，再以 Unity 等專用軟體進行可視化——導致迭代速度變慢，實時驗證困難。

工作原理

此框架基於 NumPy 與 PyTorch 建構，無需外部遊戲引擎。採用類似遊戲引擎的架構，基於實體-組件-系統（ECS）與更新迴圈，支援模組化擴展。可運行於三種模式：獨立模式（內建渲染）、無頭模式（用於伺服器端訓練）或手動模式（用於精確控制更新間隔）。

適用對象

專為從事神經網路驅動角色動畫、動作捕捉處理與即時骨骼網格渲染的研究人員與動畫工程師設計。

主要亮點

• 統一工作流程：將訓練、推論與渲染整合至單一後端，可在訓練過程中即時可視化輸入與輸出。
• 模組化 ECS 架構：可輕鬆擴展新功能，如物理、音訊或視覺模組。
• 完整的工具集：包含支援延遲着色的即時渲染器、FABRIK 逆運動學求解器，以及對 GLB、FBX 與 BVH 格式動作捕捉資料的匯入支援。
• PyTorch 集成：完全支援透過推論進行反向傳播與量化，這是以往依賴 Unity 的工作流程無法實現的功能。