camel-ai/crab

🦀️ CRAB: Cross-environment Agent Benchmark for Multimodal Language Model Agents. https://crab.camel-ai.org/

解決する課題

CRABは、マルチモーダル身体的言語モデルエージェントのベンチマーク環境を構築するためのPython中心のフレームワークを提供します。これにより、仮想マシン、Dockerコンテナ、物理マシンなどの異なるデプロイメントオプションを、統一されたインターフェースを使用してテストできる環境の作成プロセスを簡素化します。

仕組み

このフレームワークでは、Python関数の上にシンプルな @action デコレータを使用することで、開発者が環境アクションを定義できます。これらのアクションは統合され、完全な環境を形成します。また、ユーザーがPythonネイティブな方法でタスクと評価者を定義できるベンチマークスイートも含まれており、きめ細かなパフォーマンス指標のための新しいグラフ評価器を特徴としています。

対象者

多様なクロスプラットフォーム環境と対話する必要がある、マルチモーダル身体的AIエージェントを構築・評価する研究者や開発者向けに設計されています。

ハイライト

  • クロスプラットフォーム対応: インメモリ、Dockerホスト、VM、または分散物理マシンをサポート。
  • 統一されたインターフェース: エージェントは単一のAPIを通じて複数の環境に同時にアクセスできます。
  • 簡単な設定: 新しいアクションはPythonデコレータを介して追加されます。
  • きめ細かな評価: 詳細な指標のためのグラフ評価器メソッドが含まれています。

関連

  • プロジェクト
    evalstate/fast-agent

    Model Context Protocol (MCP) との深いつながりと高度なオーケストレーションパターンを備えた、マルチモーダルAIエージェントおよびワークフローを構築するための柔軟なフレームワーク。

  • プロジェクト
    microsoft/agent-framework

    Python および .NET で本番環境向け AI エージェントとマルチエージェントワークフローを構築するための多言語フレームワーク。グラフベースのオーケストレーションと組み込みの監視機能を備えています。

  • プロジェクト
    harbor-framework/harbor

    Harborは、AIエージェントと大規模言語モデル（LLM）のベンチマークを実行・拡張するためのPythonフレームワークです。`pip`/`uv`経由でインストール可能で、CLI (`harbor run`) を使用して、データセット (e.g., Terminal‑Bench‑2.0)、エージェント (Claude‑Code, OpenHands, 等)、モデルを指定し、ローカルまたはクラウドプロバイダー (Daytona, Modal, 等) 上で並列実行を可能にします。また、カスタムベンチマークの作成やRL roll‑outsの生成もサポートしています。

  • プロジェクト
    RobotecAI/rai

    具身AI (Embodied AI) 機能の開発とデプロイのための柔軟なAIエージェントフレームワーク。生成AIを活用して、ロボットが推論、マルチモーダルなインタラクション、および複雑なタスク実行を可能にします。

  • プロジェクト
    ServiceNow/AgentLab

    さまざまなベンチマークにわたるウェブエージェントの開発と評価を可能にするフレームワーク。大規模並列実験とトレース可視化ツールを備えています。