Chiaro SOC 2 Methodology Open Source Release
Chiaro 已將其完整的 SOC 2 就緒程度與審計方法論開源,旨在以透明、機器可讀的框架取代業界對「信任」的依賴。透過發布審計期間使用的確切控制措施、證據標準和判斷準則,Chiaro 讓企業能夠根據與實際審計相同的標準來進行自身的就緒程度評估。
Machine-Readable Audit Framework
Chiaro 的方法論是以一組結構化文件的形式提供,旨在同時供人工審查與 AI 整合使用。這種方法確保了測試層不再是一個黑箱,讓使用者能夠驗證控制措施是如何被測試的,以及什麼樣的標準構成合格。
該儲存庫包含以下核心組件:
framework/controls.json: 一個包含 86 個特定控制措施的函式庫。framework/test_attributes.json: 355 個測試屬性,定義了測試內容、典型證據、針對特定時間點與跨時段評估的通過標準,以及適用性規則。framework/criteria.json: 將控制措施映射到 61 個信任服務標準 (Trust Services Criteria)。framework/evidence_map.json: 22 個證據來源映射到其所滿足的控制措施。method/scoping-playbook.json: 將系統分類為範圍內、範圍外或子服務組織的指南。method/collection-rules.md: 證據收集的操作規則。method/tools.md: 一份由即時伺服器生成的、可供連接的 AI 呼叫的所有工具列表。
Calibrating AI Judgment with Worked Examples
為了防止 AI 模型在評分時過於寬鬆,Chiaro 提供了 498 個校準範例。這些範例記錄了特定的判斷決策、AI 最初達成的裁決、正確的裁決,以及修正背後的推理過程。
這些範例是合成數據,旨在保護客戶隱私,但其基礎是實地考察期間遇到的真實場景。這些修正的分布揭示了 AI 審計的一個關鍵洞察:303 個範例修正了過於嚴格的 AI,而 195 個範例修正了過於寬鬆的 AI。根據作者的說法,AI 引擎經常會過度標記問題,因為它們無法察覺到缺失的物件是否已被系統中其他地方的其他證據所涵蓋。
Shift from Sampling to Complete Populations
Chiaro 的 Type II 測試方法預設會驗證完整的樣本群體 (populations) 而非依賴統計抽樣。由於現代企業的數據是機器生成的,因此可以以機器速度進行驗證。
這種方法的主要面向包括:
- Full Population Testing: 客戶的 AI 會檢索觀察期內控制措施執行的每一個單一實例(例如:每一次變更、終止或存取審查)。
- Corroboration: 通過記錄的檢索與對獨立第二來源(若有)的對帳來驗證完整性。
- Deterministic Testing: 結構化證據透過確定性測試進行驗證,而散文式文本則透過校準後的閱讀進行測試,所有候選偏差都由 CPA 進行確認。
- Sampling as Fallback: 僅在無法完整檢索樣本群體時才使用抽樣。在這種情況下,選擇過程是從已存儲樣本群體的雜湊值 (hash) 中進行種子選擇,以防止任何一方操縱或「重新洗牌」樣本。
Implementation and Legal Constraints
雖然該方法論是在 CC BY 4.0 授權下開源的,但方法論與法律證明 (attestation) 之間存在關鍵區別。任何人都可以使用 Chiaro 框架來準備審計或進行就緒程度檢查,但只有執照 CPA 事務所可以簽署 SOC 2 意見書,因為根據 AT-C 205,簽署行為是受監管的程序部分。
Industry Context and Transparency
開源此方法論的決定源於對目前 SOC 2 現狀的批判:在目前的環境中,不同的事務所會應用截然不同的嚴謹程度,卻產出看起來完全相同的報告。透過在進行 Type II 審計之前發布方法論,Chiaro 旨在確保規則在結果揭曉之前就已確立,從而防止在事後「調整」規則以符合結果。
Sources
相關
- 專案
- 專案
- Dispatch
- Dispatch