FBddcz/embodied-jev

解决的问题

EmbodiedJev（行知）提供了一个基于浏览器的实验台，用于进行具身 AI 实验。它允许用户可视化 AI 模型如何为机器人任务（如抓取、堆叠和避障）做出决策，而无需物理机器人或复杂设置。它弥合了高层模型推理与低层物理执行之间的差距。

工作原理

该项目使用 MuJoCo 物理引擎模拟 Franka Panda 机械臂。用户可以将各种 AI 模型（包括本地模型如 MiniCPM5-2B 或云端 API 如 Claude 和兼容 OpenAI 的服务）连接到模拟中。系统遵循一个循环：模型观察状态（通过结构化数据或 RGB 相机输入），选择动作（如移动步骤或技能），物理引擎执行该动作，并为下一个决策周期提供反馈。它支持在相同条件下并排比较不同模型。

适用人群

该项目面向 AI 研究人员、机器人爱好者和对测试 LLM 和视觉语言模型在物理决策任务中表现感兴趣的开发者。它旨在让零机器人经验的人也能轻松上手，同时为高级用户提供足够的深度以进行自定义实验和基准测试。

亮点

• 实时可视化：观察机器人的决策过程，包括阶段选择、XYZ 移动和夹爪动作。
• 模型无关：支持本地模型（MiniCPM）和各种云端 API（OpenAI、Anthropic、TypeSafe Jev）。
• 对比分析：在同一任务和种子下同时运行多个模型，以比较性能、延迟和成本。
• 基于物理的反馈：使用 MuJoCo 进行逼真的交互，包括抓取、碰撞检测和物体操作。
• 可扩展：允许用户定义自定义任务、导入/导出实验数据以及调整相机配置。