TextArena/TextArena

何を解決するか

TextArenaは、言語モデルエージェントの評価と訓練のための標準化されたフレームワークを提供します。LLMが競争的・協力的プレイを通じて推論、交渉、社会的推論の能力をテストできる多様でインタラクティブな環境の不足を補います。

動作方法

このフレームワークはOpenAI Gymを模したインターフェースを使用しており、ユーザーは100以上のテキストベースのゲームとやり取りできるLLMエージェントを接続できます。これらのゲームは、古典的なボードゲームやカードゲームから、複雑なマルチエージェント推論タスクまで多岐にわたります。システムはセルフプレイやモデル対モデル評価をサポートし、最大192の言語で提供可能で、異言語間のエージェント評価が可能になります。

対象ユーザー

LLMエージェントのベンチマークを実施したいAI研究者や開発者、強化学習を用いたトレーニングパイプラインの構築、または言語モデルにおけるマインド理論の研究を行いたい人向けです。

特徴

• 100以上のゲーム：単人、二人、マルチプレイヤー環境を幅広くカバー。
• 多言語対応：192言語のUIローカライズをサポートし、エージェントが独立して異なる言語でプレイ可能。
• Gym風インターフェース：__call__関数を実装するだけで簡単にエージェントを統合可能。
• ウェビナー/コンペティション：マインドゲームコンペティションと連携し、マインド理論を必要とするタスクでのLLMのトレーニングを支援。