UKGovernmentBEIS/inspect_evals

解决的问题

它为前沿 AI 模型提供了一个标准化的评估库，使开发人员和研究人员能够以一致的方式衡量模型能力并评估风险与缓解措施。

运作方式

该库建立在 Inspect AI 框架之上，包含一系列预定义的评估任务（例如 ARC Easy 和 ARC Challenge）。用户可以通过命令行界面或将其作为 Python 对象导入来执行这些评估，并指定要测试的模型提供者（例如 OpenAI、Anthropic、Google）。

目标对象

需要根据既定数据集和风险评估来基准测试前沿 AI 模型的人工智能研究人员、安全工程师和开发人员。

特色亮点

• 广泛的模型支持：兼容于众多提供者，包括 OpenAI、Anthropic、Google、Mistral、Azure AI、AWS Bedrock、Together AI、Groq、Hugging Face、vLLM 和 Ollama。
• 集成工具：包含用于分析评估结果的日志查看器，以及用于更轻松检查日志的 VS Code 扩展功能。
• 灵活的执行方式：支持运行单一评估、同时运行多项任务，或通过 Python 进行程序化执行。
• 可扩展的注册表：允许用户将自己的评估添加到 Inspect Evals Register，以便与社区分享。