Ammaar-Alam/minebench

MineBench – AI空間推論ベンチマーク

何であるか – MineBenchは、大規模言語モデル（LLM）の3次元空間に関する推論能力を評価するウェブアプリです。モデルは「四つの塔を持つ中世の城」といった自然言語のプロンプトを受け取り、生のボクセル座標（JSON）を出力するか、voxel.execツールを介してblock、box、lineの最小限のプリミティブを呼び出します。システムは生成物を可視化し、人間による直接比較を可能にし、ブレイディ・テリー（Bradley-Terry）モデルと信頼区間を用いてランク付けを行います。

なぜ重要か – 多くのLLMベンチマークはテキストの正確性に焦点を当てています。MineBenchは、記述から一貫した3次元ジオメトリを構築する能力という、異なる知能の側面をテストします。著者らは、このタスクのパフォーマンスがモデル全体の能力と相関していると報告しており、新しいチェックポイントの「雰囲気チェック」に有用です。

主な構成要素

• Arena – 事前に生成された構築物の盲検、ペアワイズ比較；結果はリーダーボードに集約されます。
• Sandbox – 構築物をアップロードまたは生成し、任意のモデルからの出力をインポートして、ローカルで実験できます。
• Gallery – コミュニティがキュレートしたプロンプトと保存された生成物。検索可能で共有可能です。
• リーダーボード – サポートされているすべてのモデルのリアルタイムの勝敗引き分け統計。
• エクスポート – GLB、STL、MagicaVoxel .vox、WorldEdit .schem 形式で構築物をダウンロード可能。

サポートされているモデル – OpenAI、Anthropic、Google、Moonshot、DeepSeek、MiniMax、xAI、Z.AI、Qwen、Meta、およびOpenRouter経由でアクセス可能な任意のモデル。

ローカルでの開始方法

# 前提条件
#   Node.js 18+, pnpm, Docker
pnpm install
cp .env.example .env
pnpm dev:setup   # Dockerコンテナをビルドし、データをシード

別のターミナルでインポートヘルパーを実行します：

pnpm prompt --import

その後、ブラウザを開きます：

• http://localhost:3000/ – Arena
• http://localhost:3000/sandbox – Sandbox
• http://localhost:3000/leaderboard – リーダーボード

完全なセットアップ、デプロイ、APIの詳細は docs/ フォルダにあります。

モデルによる構築物の生成方法 – モデルは座標のJSONリストを返すか、ツールモードでvoxel.execを呼び出し、最小限のプリミティブを使用します。これにより、大規模な構造物に対するトークン長制限を回避できます。

ランク付けの手法 – 正解が一つではないため、MineBenchは2つの構築物間の盲検人間投票を使用します。投票はグローバルなブレイディ・テリー（Bradley-Terry）モデルにフィードされ、各モデルの勝率と不確実性区間を算出します。

コミュニティと貢献 – ユーザーは新しいプロンプトを提出したり、モデルアダプタを追加したり、UIを改善したり、バグを修正したりできます。ガイドラインは CONTRIBUTING.md を参照してください。

ライブデモ – https://minebench.ai で試してみてください（アルファ版は https://alpha.minebench.ai でも利用可能）。

---

結論 – MineBenchは、空間推論に関するLLMを比較するための具体的で視覚的な手段を提供し、従来のテキスト中心のベンチマークを補完するとともに、3次元生成能力に興味を持つ研究者や開発者にとっての実験場を提供します。