camel-ai/crab
🦀️ CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents. https://crab.camel-ai.org/
해결하는 문제
CRAB는 멀티모달 Embodied 언어 모델 에이전트를 위한 벤치마크 환경을 구축하기 위한 Python 중심 프레임워크를 제공합니다. 이를 통해 가상 머신, Docker 컨테이너 또는 물리적 머신과 같은 다양한 배포 옵션에서 에이전트를 테스트할 수 있는 환경을 통일된 인터페이스를 사용하여 생성하는 프로세스를 단순화합니다.
작동 방식
이 프레임워크를 사용하면 개발자가 Python 함수에 간단한 @action 데코레이터를 사용하여 환경 액션을 정의할 수 있습니다. 이러한 액션은 통합되어 완전한 환경을 형성합니다. 또한 사용자가 Python 네이티브 방식으로 작업과 평가자를 정의할 수 있는 벤치마킹 스위트를 포함하고 있으며, 세밀한 성능 지표를 위한 새로운 그래프 평가기를 특징으로 합니다.
대상
다양한 크로스 플랫폼 환경과 상호 작용해야 하는 멀티모달 Embodied AI 에이전트를 구축하고 평가하는 연구자와 개발자를 위해 설계되었습니다.
주요 특징
- 크로스 플랫폼 지원: 인메모리, Docker 호스팅, VM 또는 분산 물리 머신을 지원합니다.
- 통합 인터페이스: 에이전트는 단일 API를 통해 여러 환경에 동시에 액세스할 수 있습니다.
- 간편한 구성: 새로운 액션은 Python 데코레이터를 통해 추가됩니다.
- 세밀한 평가: 상세한 지표를 위한 그래프 평가기 메서드가 포함되어 있습니다.
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트