NeLy-EPFL/flygym
Simulating embodied sensorimotor control with NeuroMechFly v2
FlyGym – Drosophila 的高性能数字孪生体
是什么 – FlyGym 是一个 Python 库,实现了 NeuroMechFly v2,这是一个基于物理、完全体感的成年果蝇模型。它使研究人员能够模拟一只可以看见、闻到、在复杂地形上行走并与其他物体互动的果蝇,为传感器运动控制实验提供一个测试平台。
核心功能
- 生物力学保真度 – 身体基于真实雌性果蝇的微CT扫描构建,包含详细的节段几何结构(包括触角)。
- 视觉模拟 – 复眼被建模为六边形排列的ommatidia,生成逼真的视网膜图像。
- 嗅觉 – 触角和上颚须上的嗅觉受体接收来自模拟环境计算出的化学尺度输入。
- 分层中枢神经系统控制 – 用户可以连接一个双部分控制器(脑级决策 + VNC级运动控制),通过下行和上行信号进行通信。
- 腿部附着 – 模拟了特殊的附着结构,通过简单的开关来模拟果蝇在垂直表面上粘附的能力。
- 机械感觉反馈 – 关节角度、执行器力、接触力以及自定义关节位置均对外暴露,用于闭环控制。
性能升级(FlyGym 2.x)
- CPU 上快约 10 倍(约 2 倍实时)
- 通过 Warp/MJWarp 在 GPU 上快约 300 倍(约 60 倍实时)
- 新增交互式查看器和简化的场景构建工作流
- 依赖项更简单
快速上手
- 按照 文档网站 的说明安装该包。
- 运行同一网站提供的教程,学习如何构建环境、连接控制器以及获取感官数据。
- 对于旧代码,请使用迁移后的
flygym-gymnasium仓库(兼容 Gymnasium API)。
资源
- 完整文档:https://neuromechfly.org/
- 论文(Nature Methods, 2024):https://www.nature.com/articles/s41592-024-02497-y.epdf
- 讨论区:https://github.com/NeLy-EPFL/flygym/discussions
适用人群 – 需要一个真实、快速且可编程平台来测试体感传感器运动算法、强化学习智能体或神经生物学假设的神经科学、机器人学和人工智能研究人员。
相关
- 项目
- 项目
- 项目
- 项目