TextArena/TextArena

A Collection of Competitive Text-Based Games for Language Model Evaluation and Reinforcement Learning

何を解決するか

TextArenaは、テキストベースのゲームを使用して、大規模言語モデル(LLMs)をベンチマークおよびトレーニングするための標準化された方法を提供します。モデルが推論、戦略立案、マルチプレイヤー環境での相互作用を行う能力を評価するための環境を提供し、従来の視覚インターフェースに依存せずに実現します。

仕組み

このフレームワークはOpenAI Gym風のインターフェースを使用しており、さまざまな強化学習(RL)および言語モデルフレームワークと統合可能です。100以上のゲーム(単人、2人、マルチプレイヤーゲームを含む)のシートを提供し、エージェント(文字列の観測を受け取り、文字列の行動を返すcall関数のみが必要)が競争またはパズルを解くことができます。

対象ユーザー

LLMのトレーニング、評価、モデルの推論能力に注力するAI研究者および開発者向けに設計されています。特にマルチエージェント強化学習やマインド理論に関心がある方々に適しています。

特徴

  • ベンチマークおよびトレーニング用の100以上のテキストベースのゲーム。
  • RLフレームワークとの簡単な統合を可能にするOpenAI Gym風インターフェース。
  • 単人、2人、マルチプレイヤーのゲーム環境をサポート。
  • 簡単な文字列入力・出力インターフェースにより、さまざまなLLMエージェントと互換性があります。

関連

  • Dispatch
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト