haowang02/codex-candy-eval

解決する課題

このツールは、特定の数学問題に対してテストを行うことで、Codex モデルのパフォーマンスと推論の一貫性を評価するのに役立ちます。

仕組み

このスクリプトは、ローカルの Codex CLI を使用して、正解が 21 である「キャンディ数学問題」に対する一連のテストを実行します。使用された推論トークンの数を自動的に追跡し、モデルの出力に 21 という数字が含まれているかどうかを確認することで成功率を算出します。

対象ユーザー

Codex CLI をインストール済みで、異なるモデルバージョンや推論努力レベルの設定をベンチマークしたいユーザー向けに設計されています。

ハイライト

• サードパーティの依存関係は一切不要。
• カスタマイズ可能なモデル選択と推論努力レベル（low, medium, high, xhigh）をサポート。
• 統計データを収集するための複数回のテスト反復が可能。
• wget や curl を使用したシンプルなワンライナー実行コマンドを提供。