fstandhartinger/jevbench

解决的问题

JevBench 提供了一种标准化的方式来评估和排名 AI 决策模型。它通过不仅评估原始智能，还评估模型对自身置信度的理解程度、响应速度以及运行成本，解决了跨不同系统进行一致性能测量的需求。

工作原理

JevBench 使用一组固定的、经过交叉评审的决策任务来评估模型。它衡量四个关键维度：智能（针对偶然性校正的准确率）、校准（模型置信度与实际准确率的匹配程度）、速度（延迟）和成本（每 1,000 次决策的价格）。这些指标通过加权调和平均数合并为一个综合得分。该基准测试同时使用公开和保留（私有）任务，以确保模型在未专门训练解决的数据上进行测试。

适用对象

本项目面向需要比较不同 AI 决策模型性能、效率和可靠性的开发者、研究人员和 AI 从业者。对于使用 Jev 兼容系统或寻求数据驱动的模型权衡见解的人员尤其有用。

亮点

• 在四个不同维度上评估模型：智能、校准、速度和成本。
• 使用综合评分方法，对低于特定性能下限的模型进行惩罚。
• 维护透明的排行榜，并采用版本化方法论以确保历史可比性。
• 区分原始推理能力与生产就绪指标（如延迟和成本）。
• 提供清晰的数据卡片和清单文件，以实现可复现的结果。