haowang02/codex-candy-eval

解决的问题

此工具通过针对特定数学问题进行测试，帮助用户评估 Codex 模型的性能和推理一致性。

工作原理

该脚本使用本地 Codex CLI 对一道“糖果数学题”（正确答案为 21）运行批量测试。它会自动跟踪所使用的推理 Token 数量，并通过检查模型输出中是否包含数字 21 来计算成功率。

适用人群

专为已安装 Codex CLI 并希望对不同模型版本或推理努力程度设置进行基准测试的用户设计。

主要亮点

• 无需任何第三方依赖。
• 支持自定义模型选择和推理努力程度（low, medium, high, xhigh）。
• 允许进行多次测试迭代以收集统计数据。
• 提供通过 wget 或 curl 执行的简单单行命令。