camel-ai/crab
🦀️ CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents. https://crab.camel-ai.org/
解決的問題
CRAB 提供了一個以 Python 為核心的框架，用於為多模態具身語言模型智能體構建基準測試環境。它透過統一的介面，簡化了建立環境的過程，使智能體可以在不同的部署選項（如虛擬機、Docker 容器或實體機）中進行測試。
工作原理
該框架允許開發人員使用簡單的 @action 裝飾器在 Python 函數上定義環境動作。這些動作隨後會被整合以形成一個完整的環境。它還包含一個基準測試套件，允許用戶以 Python 原生方式定義任務與評估器，並具有用於細粒度性能指標的新穎圖評估器。
適用對象
專為需要與多種跨平台環境互動的、用於構建與評估多模態具身智能體的研究人員與開發人員設計。
亮點
- 跨平台支援：支援記憶體內、Docker 託管、虛擬機或分散式實體機。
- 統一介面：智能體可以透過單一 API 同時存取多個環境。
- 配置簡單：透過 Python 裝飾器新增新動作。
- 細粒度評估：包含用於詳細指標的圖評估器方法。
相關
- 專案
- 專案
- 專案
- 專案
- 專案