UKGovernmentBEIS/inspect_ai
Inspect: A framework for large language model evaluations
解决的问题
Inspect 是一个专为评估大语言模型（LLM）而设计的框架。它提供了一种标准化的方法来测试模型，确保其按预期运行，并识别潜在的安全或性能缺陷。
工作原理
它作为一个评估框架，内置了提示工程、多轮对话和工具使用组件。同时支持模型评分评估，即使用一个模型来评分另一个模型的性能。该系统具有可扩展性，允许其他 Python 包提供新的评分技术或诱导方法。
适用人群
该工具主要面向需要严格测试和评估大语言模型能力的 AI 研究人员、安全审计员和开发者。
主要亮点
- 超过 200 个预构建的评估，可直接在任何模型上运行。
- 支持多轮对话和工具使用测试。
- 支持模型评分评估。
- 通过 Python 包实现可扩展架构。
相关
- 项目
UKGovernmentBEIS/inspect_evalsInspect Evals is a community‑maintained collection of LLM evaluation tasks (coding, agent, scientific, and software‑engineering benchmarks) built on the Inspect AI framework. It offers a unified CLI/Python API, supports many model providers, and provides a structured process for adding new evals.
- 项目
open-compass/VLMEvalKitAn open-source evaluation toolkit for large vision-language models that enables one-command evaluation across 70+ benchmarks and 200+ models.
- 项目
- 项目
- 项目