allenai/ScienceWorld

해결하는 문제

ScienceWorld는 AI 에이전트가 초등 과학 교육 과정에 기반한 복잡하고 다단계적인 작업을 수행할 수 있는지를 표준화된 방식으로 테스트할 수 있는 방법을 제공합니다. 텍스트 기반 에이전트가 기본 과학 법칙에 따라 제어되는 세계에서 추론하고 상호작용하는 능력을 평가할 수 있는 가상 환경의 필요성을 해결합니다.

작동 방식

Scala와 Java로 작성된 텍스트 기반 가상 환경이며, Python API를 통해 접근할 수 있습니다. 시스템은 물을 끓이기, 전기 전도성 테스트, 식물 재배와 같은 다양한 과학 시나리오를 시뮬레이션하며, 에이전트가 특정 목표를 달성하기 위해 환경과 상호작용하도록 요구합니다. 에이전트가 단순히 해법을 외우는 것을 방지하기 위해 다양한 변형이 포함된 사전 정의된 작업 세트가 있습니다.

대상 사용자

과학적 맥락에서 추론 및 문제 해결 능력을 평가하고자 하는 텍스트 기반 AI 에이전트를 개발하는 연구자 및 개발자.

주요 특징

• 커리큘럼 기반 작업: 화학, 생물학, 물리학을 포함한 다양한 초등 과학 주제를 커버합니다.
• 풍부한 변형: 다양한 카테고리에 걸쳐 수천 가지의 작업 변형을 제공하여 견고한 테스트를 보장합니다.
• 간소화 프리셋: 에이전트가 더 쉽게 학습할 수 있도록 (예: 텔레포트 또는 자동 문 열기 등) 난이도를 낮출 수 있는 옵션이 포함되어 있습니다.
• 다중 인터페이스 접근: 프로그래밍 제어를 위한 Python API, 명령줄 인터페이스, 그리고 인간이 상호작용할 수 있는 웹 서버 데모를 지원합니다.