allenai/ScienceWorld

何を解決するか

ScienceWorldは、AIエージェントが小学校レベルの科学カリキュラムに基づいた複雑で多段階のタスクを実行できるかどうかを標準化された方法でテストする手段を提供します。テキストベースのエージェントが、基本的な科学法則に従う世界での推論と相互作用能力を評価できる仮想環境の必要性に対応しています。

動作方法

ScalaおよびJavaで書かれたテキストベースの仮想環境であり、Python API経由でアクセス可能です。システムは、水を沸騰させる、電気伝導性をテストする、植物を育てるなど、さまざまな科学的シナリオをシミュレートし、エージェントが特定の目標を達成するために環境と相互作用する必要があります。エージェントが単に解法を暗記するのを防ぐために、多数のバリエーションを備えた事前定義されたタスクが含まれています。

対象ユーザー

科学的文脈において、推論力や問題解決能力を評価したいテキストベースのAIエージェントを開発する研究者や開発者。

特徴

• カリキュラムに基づくタスク: 化学、生物学、物理学を含む幅広い小学校レベルの科学トピックをカバー。
• 多数のバリエーション: 異なるカテゴリにわたり、数千ものタスクのバリエーションを提供し、堅牢なテストを実現。
• 簡略化プリセット: エージェントがより簡単に学習できるように、例えばテレポートや自動ドア開閉などの難易度を下げるオプションを提供。
• マルチインターフェースアクセス: Python APIによるプログラム制御、コマンドラインインターフェース、および人間が操作可能なWebサーバーデモをサポート。