Ammaar-Alam/minebench

MineBench – AI 공간 추론 벤치마크

정의 – MineBench는 대규모 언어 모델(LLM)의 3차원 공간 추론 능력을 평가할 수 있는 웹 앱입니다. 모델은 *“a medieval castle with four towers”*와 같은 자연어 프롬프트를 입력받아, 가공되지 않은 복셀 좌표(JSON)를 출력하거나 voxel.exec 도구를 통해 소수의 기본 프리미티브(block, box, line)를 호출해야 합니다. 시스템은 생성된 결과물을 시각화하고, 사람이 직접 일대일로 비교할 수 있게 하며, 신뢰 구간을 포함한 Bradley-Terry 모델을 사용하여 순위를 매깁니다.

중요성 – 대부분의 LLM 벤치마크는 텍스트의 정확성에 집중합니다. MineBench는 지능의 다른 측면, 즉 설명을 바탕으로 일관된 3D 기하학적 구조를 구축하는 능력을 테스트합니다. 저자들은 이 작업의 성능이 모델의 전반적인 능력과 상관관계가 있음을 보고했으며, 이는 새로운 체크포인트에 대한 유용한 “vibe check”가 됩니다.

주요 구성 요소

• Arena – 사전 생성된 결과물들에 대한 블라인드 쌍별 비교; 결과는 리더보드에 집계됩니다.
• Sandbox – 결과물을 업로드하거나 생성하고, 모든 모델의 출력을 가져오거나 로컬에서 실험할 수 있습니다.
• Gallery – 커뮤니티가 큐레이션한 프롬프트와 저장된 생성물들을 검색하고 공유할 수 있습니다.
• Leaderboard – 지원되는 모든 모델에 대한 실시간 승/패/무승부 통계.
• Exports – 결과물을 GLB, STL, MagicaVoxel .vox, 또는 WorldEdit .schem 형식으로 다운로드할 수 있습니다.

지원 모델 – OpenAI, Anthropic, Google, Moonshot, DeepSeek, MiniMax, xAI, Z.AI, Qwen, Meta, 그리고 OpenRouter를 통해 접근 가능한 모든 모델.

로컬 시작하기

# Prerequisites
#   Node.js 18+, pnpm, Docker
pnpm install
cp .env.example .env
pnpm dev:setup   # builds Docker containers, seeds data

다른 터미널에서 가져오기 도우미를 실행하세요:

pnpm prompt --import

그 다음 브라우저를 여세요:

• http://localhost:3000/ – Arena
• http://localhost:3000/sandbox – Sandbox
• http://localhost:3000/leaderboard – Leaderboard

전체 설정, 배포 및 API 상세 정보는 docs/ 폴더에 있습니다.

모델의 결과물 생성 방식 – 모델은 JSON 좌표 리스트를 반환하거나, tool mode에서 최소한의 프리미티브를 사용하여 voxel.exec를 호출합니다. 이는 대규모 구조물 구축 시 토큰 길이 제한을 피하기 위함입니다.

순위 산정 방식 – 단일 정답이 존재하지 않기 때문에, MineBench는 두 결과물 사이의 블라인드 인간 투표를 사용합니다. 투표 결과는 글로벌 Bradley-Terry 모델에 입력되어 각 모델의의 승리 확률과 불확실성 구간을 산출합니다.

커뮤니티 및 기여 – 사용자는 새로운 프롬프트를 제출하거나, 모델 어댑터를 추가하거나, UI를 개선하거나, pull request를 통해 버그를 수정할 수 있습니다. 가이드라인은 CONTRIBUTING.md를 참조하세요.

라이브 데모 – https://minebench.ai (및 알파 버전 https://alpha.minebench.ai)에서 체험해 보세요.

---

요약 – MineBench는 LLM의 공간 추론 능력을 비교하기 위한 구체적이고 시각적인 방법을 제공하며, 기존의 텍스트 전용 벤치마크를 보점을하고 3D 생성 능력을 연구하는 연구자와 개발자들에게 놀이터(playground)를 제공합니다.