TencentARC/GameHorizon

何を解決するか

GameHorizonは、AAAゲームにおけるプレイ行動の時間スケール（即時行動から長期戦略まで）に応じたAIモデルの対応能力を評価するための統合的で大規模なデータおよび評価フレームワークが不足している問題に対処しています。

仕組み

このツールキットは3つの統合されたコンポーネントで構成されています：

• GameHorizon-Annotator：自動化パイプラインで、プレイ行動を短期的作業、中期間目標、長期的戦略の3段階に分類し、「インストラクションピラミッド」を構築します。
• GameHorizon-Data：21本のAAAタイトルから得られた5,000時間のプレイデータを含む大規模なコーパス。時間的に整合された動画、行動、およびマルチホライゾンインストラクションを提供します。
• GameHorizon-Bench：二軌道評価システム。オフライントラックでは数千の選択式問題（MCQ）を用いて標準化されたテストを実施し、オンライントラックでは検証可能なサブタスクを用いてリアルタイム環境での因果関係およびテーマ関連タスクを評価します。

対象ユーザー

高精細なビデオゲーム環境で複雑なプレイを理解・ナビゲート・自動化する必要があるAIモデル（例：マルチモーダルLLM）の開発・評価を行う研究者や開発者向けに設計されています。

特徴

• AAAゲーム中心：21の異なるハイエンドゲームタイトルをカバー。
• マルチホライゾン分析：作業、目標、戦略の3段階の計画能力を評価。
• 大規模データセット：5,000時間の整合されたプレイデータを含む。
• 包括的なベンチマーク：オフラインMCQとオンラインタスク環境を併用し、サブタスクによる失敗の局所化を実現。