StanfordVL/BEHAVIOR-1K

BEHAVIOR-1K: a platform for accelerating Embodied AI research. Join our Discord for support: https://discord.gg/bccR5vGFEx

解決する課題

BEHAVIOR-1Kは、具現化AI（embodied AI）における包括的かつ人間中心のベンチマークの不足を解決します。シミュレーション環境において、AIエージェントが多種多様な日常の家事活動をどの程度遂行できるかをテストするための標準化された手法を提供します。

仕組み

本プロジェクトは、エージェントのトレーニングと評価に必要なシミュレーション環境およびツールを含むモノリシックなリポジトリを提供します。このベンチマークは、掃除、料理、整理整頓など、1,000種類の異なる家事活動で構成されています。これらは、実際の人間が必要とするニーズを反映させるため、実際の人の時間利用調査と嗜好調査に基づいて選定されています。

対象者

これは、具現化AI、ロボティクス、およびエージェントのトレーニングに従事し、多様なタスクにおけるエージェントの能力を評価するための現実的なシミュレーションベンチマークを必要とする研究者や開発者向けに設計されています。

ハイライト

  • エージェントをテストするための1,000種類の日常的な家事活動。
  • 実際の時間利用調査と嗜好調査に基づく。
  • トレーニングと評価のための包括的なシミュレーションベンチマーク。
  • 依存関係とコンポーネントのモジュール式インストールプロセス。

関連

  • プロジェクト
    facebookresearch/habitat-lab

    具身AI（Embodied AI）の端から端までの開発のためのモジュール式高レベルライブラリであり、屋内環境でタスクを実行するエージェントの訓練と評価に使用されます。

  • プロジェクト
    xavierpuigf/virtualhome

    研究者が Python API を通じて具現化 AI エージェントを訓練し、合成ビデオデータを生成できる、家庭活動向けインタラクティブシミュレーションプラットフォームです。

  • プロジェクト
    benchflow-ai/skillsbench

    AIエージェントが指示、スクリプト、リソースといったモジュール化されたスキルをどのように活用し、組み合わせて専門的なワークフローを実行するかを評価するベンチマーク。

  • プロジェクト
    TIGER-AI-Lab/ClawBench

    ClawBenchは、281の実世界のウェブタスク（例：旅行の予約、食事の注文）を評価するオープンソースのベンチマークです。タスク仕様、マルチレイヤートレースレコーダー、およびLLMジャッジ（deepseek-v4-pro）を提供し、成功をスコアリングします。`pip install clawbench-eval` でインストールし、モデルとジャッジのAPIキーを設定してから、Docker/PodmanベースのChromiumハーネスでタスクを実行します。結果はパブリックリーダーボードに投稿され、全データはHugging Faceで利用可能です。

  • プロジェクト
    harbor-framework/terminal-bench

    Terminal-Bench は、多様で進化する難易度の高いタスクを用いて、先端AIエージェントの能力を継続的に測定するためのベンチマークです。