Jevman: AI意思決定モデルのためのパックマンベンチマーク

Jevmanはパックマンを通じてAIの意思決定を評価する

Jevmanは、AIモデルのリアルタイムな意思決定能力をテストするために設計されたオープンソースのベンチマークです。モデルに古典的なアーケードゲームのゴーストを相手にパックマンをプレイさせることで、厳しいレイテンシ制約の下でゲームの状態を処理し、戦略的な動きを実行する能力を測定します。

パフォーマンスリーダーボードとモデルランキング

2026年10月7日現在、このベンチマークでは6つのモデルをそれぞれ100ゲームずつテストしました。現在、95%の誤差範囲内での平均スコアに基づき、3つのモデルがトップで並んでいます。

jev 1.13 (TypeSafe): 平均スコア 2,750 ± 218、ハイスコア 6,380、バックアップ移動率が最も低い (3.4%)。
GPT-6 Luna (OpenAI): 平均スコア 2,568 ± 150、ハイスコア 5,920。
Clef Flash (Cloudflare): 平均スコア 2,538 ± 120、ハイスコア 4,260。

その他のモデルには、CloudflareのClef、Jared PalmerのKev 4B、Convai InnovationsのLayaなどがランクインしています。Layaは最も低いレイテンシ (104 ms) を記録しましたが、平均スコアは最も低い結果 (639 ± 24) となりました。

ベンチマーク手法

Jevmanベンチマークは、テストの一貫性を確保するために特定のルールを採用しています。

ゲーム状態と意思決定プロセス

迷路の各分岐点において、ゲームは現在の状態（ペレットやゴーストの位置を含む）をJSONオブジェクトとしてモデルのHTTPエンドポイントに送信します。モデルは、可能な各方向に対する確率を返す必要があります。パックマンは、これらの確率に基づいて方向を選択します。

制約とスコアリング

ゲーム時間: ゲームは最大5分に制限されていますが、記録された最長プレイ時間は2分24秒でした。
レイテンシの期限: モデルは2秒以内に回答を提供する必要があります。この制限を超えた場合、移動を決定するために単純なバックアップルールが使用され、これが「バックアップ移動」として記録されます。
ランキング指標: モデルは95%の誤差範囲（±2標準誤差）を持つ平均スコアによってランク付けされます。スコアが互いの誤差範囲内に収まるモデルは、同順位とみなされます。

オープンソースへの貢献と統合

Jevmanはオープンソースであり、HTTPエンドポイントの背後にあるあらゆるモデルをベンチマーク可能です。開発者は、モデルをエンドポイントの背後に配置し、ベンチマークをローカルで実行し、プルリクエストを送信することで統合できます。プロジェクトのCIシステムは、提出されたすべてのゲームをリプレイしてスコアを検証してから、モデルをリーダーボードに追加します。

コミュニティの洞察と技術的批評

Hacker Newsでのコミュニティの議論では、ベンチマークのアーキテクチャに関するいくつかの技術的考察が強調されました。

"パックマンのためにクラウドAPI推論を実行するのは、現代のソフトウェアエンジニアリングの極致だ。CPUコア上で動作する2 MBのローカルONNXモデルの方が、ネットワークの往復ジッターに毎回打ち勝つことができる。" — @handle

批評家は、モデルの意思決定がゲームの全ティックではなく分岐点でのみ行われるため、モデルが動的に方向を変える能力が制限される可能性があると指摘しました。また、比較のベースラインとして標準的な大規模言語モデル（LLM）を含めることで、専門的な意思決定モデルのパフォーマンスをより適切に評価できるという意見もありました。