Jevman: AI 의사결정 모델을 위한 팩맨 벤치마크

Jevman은 팩맨을 통해 AI 의사결정 능력을 평가합니다

Jevman은 AI 모델의 실시간 의사결정 능력을 테스트하기 위해 설계된 오픈 소스 벤치마크입니다. 모델이 고전 아케이드 게임인 팩맨을 플레이하도록 요구함으로써, 이 벤치마크는 엄격한 지연 시간 제약 하에서 게임 상태를 처리하고 전략적인 움직임을 실행하는 모델의 능력을 측정합니다.

성능 리더보드 및 모델 순위

2026년 10월 7일 기준으로, 이 벤치마크는 6개의 모델을 각각 100게임씩 테스트했습니다. 현재 95% 오차 범위 내의 평균 점수를 기준으로 세 모델이 공동 1위를 차지하고 있습니다:

jev 1.13 (TypeSafe): 평균 점수 2,750 ± 218, 최고 점수 6,380, 최저 백업 이동률(3.4%) 기록.
GPT-6 Luna (OpenAI): 평균 점수 2,568 ± 150, 최고 점수 5,920.
Clef Flash (Cloudflare): 평균 점수 2,538 ± 120, 최고 점수 4,260.

Cloudflare의 Clef, Jared Palmer의 Kev 4B, Convai Innovations의 Laya를 포함한 다른 모델들이 그 뒤를 잇고 있습니다. Laya는 가장 낮은 지연 시간(104 ms)을 기록했지만, 평균 점수는 가장 낮았습니다(639 ± 24).

벤치마크 방법론

Jevman 벤치마크는 테스트의 일관성과 안정성을 보장하기 위해 특정 규칙 세트를 사용합니다:

게임 상태 및 의사결정 프로세스

미로의 모든 교차로에서 게임은 펠릿과 유령의 위치를 포함한 현재 상태를 JSON 객체로 모델의 HTTP 엔드포인트에 전송합니다. 모델은 가능한 각 방향에 대한 확률을 반환해야 합니다. 그러면 팩맨은 이 확률에 따라 방향을 선택합니다.

제약 조건 및 채점

게임 시간: 게임은 5분으로 제한되지만, 가장 길게 기록된 실행 시간은 2분 24초였습니다.
지연 시간 제한: 모델은 2초 이내에 답변을 제공해야 합니다. 모델이 이 제한을 초과하면 간단한 백업 규칙을 사용하여 이동을 결정하며, 이는 "백업 이동"으로 기록됩니다.
순위 측정 기준: 모델은 95% 오차 범위(±2 표준 오차)를 포함한 평균 점수로 순위가 매겨집니다. 점수가 서로의 오차 범위 내에 있는 모델은 동점으로 간주됩니다.

오픈 소스 기여 및 통합

Jevman은 오픈 소스이므로 HTTP 엔드포인트 뒤에 있는 모든 모델을 벤치마킹할 수 있습니다. 개발자는 모델을 엔드포인트 뒤에 배치하고, 벤치마크를 로컬에서 실행한 다음, 풀 리퀘스트를 제출하여 모델을 통합할 수 있습니다. 프로젝트의 CI 시스템은 제출된 모든 게임을 다시 재생하여 점수를 검증한 후 모델을 리더보드에 추가합니다.

커뮤니티 통찰 및 기술적 비평

Hacker News의 커뮤니티 토론에서는 벤치마크 아키텍처와 관련하여 몇 가지 기술적 고려 사항이 강조되었습니다:

"팩맨을 위해 클라우드 API 추론을 실행하는 것은 현대 소프트웨어 엔지니어링의 정점입니다. CPU 코어에서 실행되는 2 MB 로컬 ONNX 모델이 네트워크 왕복 지터를 매번 이깁니다." — @handle

비평가들은 모델의 의사결정이 게임의 모든 틱이 아닌 교차로에서만 발생한다는 점을 지적했으며, 이는 모델이 동적으로 방향을 바꾸는 능력을 제한할 수 있다고 보았습니다. 다른 이들은 전문 의사결정 모델의 성능을 더 잘 파악할 수 있도록 표준 거대 언어 모델(LLM)을 비교 기준으로 포함할 것을 제안했습니다.