Ammaar-Alam/minebench

MineBench – AI 空间推理基准

是什么 – MineBench 是一个网页应用，用于评估大语言模型（LLMs）在三维空间推理方面的能力。模型接收如 “一座有四座塔的中世纪城堡” 这类自然语言提示，并需输出原始的体素坐标（JSON）或通过 voxel.exec 工具调用一组极简的原语（block、box、line）。系统随后可视化生成结果，允许人类进行直接对比，并使用带有置信区间的 Bradley-Terry 模型生成排名。

为何重要 – 多数 LLM 基准测试关注文本正确性。MineBench 测试的是另一种智能维度：从描述中构建连贯三维几何结构的能力。作者报告称，该任务的表现与模型整体能力呈正相关，因此可作为新检查点的“直觉检验”工具。

核心组件

• Arena – 对预生成构建物进行盲测、成对比较；结果汇总为排行榜。
• Sandbox – 上传或生成构建物，导入任意模型的输出，并在本地进行实验。
• Gallery – 社区精选的提示与保存的生成结果，支持搜索与分享。
• 排行榜 – 所有支持模型的实时胜/负/平局统计数据。
• 导出功能 – 支持以 GLB、STL、MagicaVoxel .vox 或 WorldEdit .schem 格式下载构建物。

支持的模型 – OpenAI、Anthropic、Google、Moonshot、DeepSeek、MiniMax、xAI、Z.AI、Qwen、Meta，以及通过 OpenRouter 可访问的任意模型。

本地启动指南

# 前提条件
#   Node.js 18+, pnpm, Docker
pnpm install
cp .env.example .env
pnpm dev:setup   # 构建 Docker 容器并填充数据

在另一个终端运行导入助手：

pnpm prompt --import

然后打开浏览器：

• http://localhost:3000/ – Arena
• http://localhost:3000/sandbox – Sandbox
• http://localhost:3000/leaderboard – 排行榜

完整设置、部署和 API 详情请见 docs/ 文件夹。

模型生成构建的方式 – 模型可返回坐标列表的 JSON，或在 工具模式 下调用 voxel.exec 并使用最少的原语。这避免了大型结构物的 token 长度限制。

排名方法 – 由于没有唯一正确答案，MineBench 采用盲测人类投票比较两个构建物。投票数据输入全局 Bradley-Terry 模型，生成每个模型的胜率及不确定性区间。

社区与贡献 – 用户可通过拉取请求提交新提示、添加模型适配器、改进 UI 或修复 bug。详见 CONTRIBUTING.md 中的指南。

在线演示 – 请访问 https://minebench.ai（以及 alpha 版本 https://alpha.minebench.ai）尝试。

---

总结 – MineBench 为 LLM 的空间推理能力提供了一种具体、可视化的比较方式，补充了传统的纯文本基准测试，为对 3D 生成能力感兴趣的科研人员和开发者提供了一个实验平台。