arcprize/arc-agi-benchmarking

解决的问题

该项目提供了一个标准化的框架，用于在 ARC-AGI（抽象与推理语料库）任务上对 AI 模型进行基准测试。它简化了在多个模型提供商之间运行这些复杂推理任务的过程，管理 API 速率限制、重试和性能评分等技术开销。

工作原理

系统使用一组模型适配器来对接不同的 AI 提供商（如 OpenAI、Anthropic、Gemini 等）。用户通过 YAML 文件定义模型配置，指定模型 ID、提供商以及温度等参数。框架随后从 ARC-AGI 数据集中执行任务，管理出站请求的节奏以避免触发速率限制，并将模型的响应保存为提交结果。最后，专用评分脚本将这些提交结果与真实答案进行比对，计算准确率指标。

适用人群

• AI 研究人员：测试大语言模型的通用智能与推理能力。
• 模型开发者：希望将自己的模型与 ARC-AGI 基准进行对比评估。
• 基准测试工程师：需要一种可扩展的方式，能够并发运行多个模型配置和不同数据集。

主要亮点

• 多提供商支持：内置对 OpenAI、Anthropic、Gemini、Fireworks、Grok 和 OpenRouter 等广泛提供商的支持。
• 并发执行：支持同时运行多个模型配置和数据集，并共享速率限制管理机制。
• 健壮的错误处理：集成速率限制、基于 tenacity 的重试机制以及任务级超时。
• 详细日志记录：为每个任务自动生成原始 API JSONL 日志，包含请求和响应负载。
• 可扩展架构：轻松添加新的模型配置或自定义提供商适配器。