usnistgov/dioptra

Dioptra – 可信AI的测试平台

是什么 – Dioptra 是由 NIST 维护的开源软件平台，可让您 测量、分析和追踪 AI 模型的可信特性（安全性、安全性、公平性、可解释性、隐私性等）。它实现了 NIST AI 风险管理框架中的 测量（Measure） 功能，帮助您评估安全性、安全性、公平性、可解释性、隐私性等风险维度。

如何工作 – Dioptra 以一组 Docker 容器的形式运行，提供 REST API。您可以通过以下方式与其交互：

• 直观的 Web UI，
• Python 客户端库，或
• 任何通用的 REST 客户端。 实验通过简单的 YAML 文件定义，这些文件组合了模块化组件（例如，数据加载器、模型运行器、度量计算器）。插件系统允许您导入现有的 Python 包，内置类型系统确保了插件之间的互操作性。

主要特性

• 可复现 – 自动对代码、数据和配置进行快照。
• 可追溯 – 完整保存实验输入和结果的历史记录。
• 可扩展 – 通过插件添加新功能。
• 模块化 – 使用可重用的 YAML 描述块构建实验。
• 安全且多租户 – 支持用户认证（访问控制即将推出）和共享部署。
• 交互式 – Web UI 用于管理与可视化运行结果。

典型使用场景

角色	场景
模型开发者（第一方）	在开发过程中持续测试模型，尽早发现可靠性或偏见问题。
采购方/评估者（第二方）	在购买或集成前对供应商的模型进行独立评估。
审计者（第三方）	对 AI 系统进行正式的合规性或监管审计。
研究人员	跟踪可信 AI 研究的实验，与合作者共享结果。
红队	在受控沙箱中对模型运行对抗性或压力测试套件。

快速入门

1. 拉取 Docker 镜像 – 核心服务（nginx、mlflow-tracking、REST API）和 PyTorch 或 TensorFlow 的工作器镜像（CPU/GPU）。
2. 使用提供的 cookiecutter 模板创建部署（cruft create …）。
3. 初始化部署（./init-deployment.sh）。
4. 使用 docker compose up -d 启动，并打开 http://localhost。
5. 按照 Dioptra 文档网站上的“Hello World”教程，快速完成端到端运行。

文档与社区 – 完整的用户指南、安装步骤和教程托管在 https://pages.nist.gov/dioptra/。开发指南在 DEVELOPER.md 中。

许可证 – Creative Commons Attribution 4.0 International (CC-BY-4.0)，一种宽松的开源许可证。

引用 – 如果您在出版物中使用 Dioptra，请引用 README 中提供的 NIST DOI。

---

Dioptra 是一个真实、积极维护的项目，旨在为评估 AI 系统的可信性提供可复现、可扩展的框架。