Chiaro SOC 2 Methodology Open Source Release
Chiaro 已将其完整的 SOC 2 就绪状态和审计方法论开源,旨在用透明、机器可读的框架取代行业对“信任”的依赖。通过发布在审查期间使用的确切控制措施、证据标准和判断标准,Chiaro 允许公司根据实际审计中使用的相同标准进行自身的就绪状态评估。
Machine-Readable Audit Framework
Chiaro 方法论以一套结构化文件的形式交付,旨在同时满足人工审查和 AI 集成。这种方法确保了测试层不再是一个黑盒,允许用户验证控制措施是如何被测试的,以及什么构成了合格的分数。
该仓库包含以下核心组件:
framework/controls.json: 一个包含 86 个特定控制措施的库。framework/test_attributes.json: 355 个测试属性,定义了测试内容、典型证据、针对特定时间点和一段时间评估的通过标准,以及适用性规则。framework/criteria.json: 控制措施与 61 个信任服务标准(Trust Services Criteria)的映射。framework/evidence_map.json: 22 个证据来源与其所满足的控制措施的映射。method/scoping-playbook.json: 将系统分类为范围内、范围外或作为子服务组织的指南。method/collection-rules.md: 证据收集的操作规则。method/tools.md: 一个由实时服务器生成的、连接的 AI 可以调用的工具列表。
Calibrating AI Judgment with Worked Examples
为了防止 AI 模型在评分时过于宽松,Chiaro 提供了 498 个校准示例。这些示例记录了一个特定的判断标准、AI 最初达到的结论、正确的结论,以及修正背后的逻辑。
这些示例是合成的,以保护客户机密性,但它们是基于实地调查中遇到的真实场景。这些修正的分布揭示了 AI 审计的一个关键见解:303 个示例修正了过于严格的 AI,而 195 个示例修正了过于宽松的 AI。根据作者的说法,AI 引擎经常过度标记问题,因为它们无法察觉到缺失的凭证是否已被系统其他地方的其他证据所覆盖。
Shift from Sampling to Complete Populations
Chiaro 的 Type II 测试方法默认验证完整的人群(complete populations),而不是依赖统计抽样。由于现代公司的数据是机器生成的,因此可以以机器的速度进行验证。
这种方法的关键方面包括:
- Full Population Testing: 客户的 AI 会检索观察期内控制措施执行的每一个实例(例如,每一次变更、终止或访问审查)。
- Corroboration: 通过记录的检索和在可用时与独立的第二来源进行核对来验证完整性。
- Deterministic Testing: 结构化证据通过确定性测试进行验证,而散文文本通过校准阅读进行测试,所有候选偏差都由 CPA 确认。
- Sampling as Fallback: 仅在无法完整检索人群时才使用抽样。在这种情况下,选择过程是从已存储人群的哈希值中播种的,以防止任何一方操纵或“重新抽取”样本。
Implementation and Legal Constraints
虽然该方法论在 CC BY 4.0 许可下开源,但方法论与法律证明之间存在关键区别。任何人都可以使用 Chiaro 框架来准备审计或运行就绪状态检查,但只有获得许可的 CPA firm 可以签署 SOC 2 意见书,因为根据 AT-C 205,签名是该流程中受监管的部分。
Industry Context and Transparency
开源此方法论的决定源于对当前 SOC 2 现状的批评,即不同的公司可能会应用截然不同的严谨程度,但在生成看起来完全相同的报告。通过在执行 Type II 审查之前发布方法论,Chiaro 旨在确保规则在结果已知之前就已经确立,从而防止在事后“调整”规则以适应结果。
Sources
相关
- 项目
- 项目
- Dispatch
- Dispatch