camel-ai/crab
🦀️ CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents. https://crab.camel-ai.org/
解决的问题
CRAB 提供了一个以 Python 为核心的框架，用于为多模态具身语言模型智能体构建基准测试环境。它通过统一的接口，简化了创建环境的过程，使智能体可以在不同的部署选项（如虚拟机、Docker 容器或物理机）中进行测试。
工作原理
该框架允许开发人员使用简单的 @action 装饰器在 Python 函数上定义环境动作。这些动作随后被集成以形成一个完整的环境。它还包含一个基准测试套件，允许用户以 Python 原生方式定义任务和评估器，并具有用于细粒度性能指标的新颖图评估器。
适用对象
专为需要与多种跨平台环境交互的、用于构建和评估多模态具身智能体的研究人员和开发人员设计。
亮点
- 跨平台支持：支持内存中、Docker 托管、虚拟机或分布式物理机。
- 统一接口：智能体可以通过单个 API 同时访问多个环境。
- 配置简单：通过 Python 装饰器添加新动作。
- 细粒度评估：包含用于详细指标的图评估器方法。
相关
- 项目
- 项目
- 项目
- 项目
- 项目