TextArena/TextArena

해결하는 문제

TextArena는 언어 모델 에이전트를 평가하고 훈련하기 위한 표준화된 프레임워크를 제공합니다. LLM이 경쟁적이고 협력적인 플레이를 통해 추론, 협상, 사회적 추론 능력을 테스트할 수 있는 다양한 상호작용 환경의 부족을 해결합니다.

작동 방식

이 프레임워크는 OpenAI Gym을 모방한 인터페이스를 사용하여, 100개 이상의 텍스트 기반 게임과 상호작용할 수 있는 LLM 에이전트를 쉽게 통합할 수 있습니다. 이 게임들은 고전적인 보드 게임과 카드 게임에서부터 복잡한 다중 에이전트 추론 작업까지 다양합니다. 시스템은 자가 대전과 모델 대 모델 평가를 지원하며, 최대 192개의 언어로 제공되어 다국어 간 에이전트 평가가 가능합니다.

대상 사용자

LLM 에이전트를 벤치마킹하고 싶은 AI 연구자 및 개발자, 강화 학습을 활용한 훈련 파이프라인을 구축하거나 언어 모델의 이성 이론(Theory of Mind)을 연구하고자 하는 사람들을 위한 것입니다.

주요 특징

• 100개 이상의 게임: 단일, 이인, 다인 플레이 환경을 폭넓게 포함.
• 다국어 지원: 192개 언어의 UI 로컬라이제이션을 지원하여 에이전트가 독립적으로 다양한 언어로 플레이 가능.
• Gym 유사 인터페이스: __call__ 함수만 구현하면 쉽게 에이전트를 통합할 수 있음.
• 웹세미나/경진대회: 마인드게임 경진대회와 연계되어 이성 이론이 필요한 작업에 대한 LLM 훈련을 지원.