Chiaro SOC 2 Methodology Open Source Release

Chiaro는 업계의 "faith"에 대한 의존도를 투명하고 기계 판독 가능한 프레임워크로 대체하기 위해 전체 SOC 2 준비 및 감사 방법론을 오픈 소스로 공개했습니다. 정확한 통제 항목, 증거 표준 및 심사 중 사용되는 판단 기준을 게시함으로써, Chiaro는 기업이 실제 감사에서 사용되는 것과 동일한 기준으로 자체 준비 상태 평가를 수행할 수 있도록 합니다.

Machine-Readable Audit Framework

Chiaro 방법론은 인간의 검토와 AI 통합을 모두 위해 설계된 구조화된 파일 세트로 제공됩니다. 이 접근 방식은 테스트 레이어가 더 이상 블랙박스가 되지 않도록 보장하며, 사용자가 통제가 어떻게 테스트되는지, 그리고 무엇이 합격 기준을 구성하는지 정확히 확인할 수 있게 합니다.

이 저장소에는 다음과 같은 핵심 구성 요소가 포함되어 있습니다:

framework/controls.json: 86개의 특정 통제 항목 라이브러리.
framework/test_attributes.json: 테스트 대상, 전형적인 증거, 특정 시점 및 기간별 평가에 대한 합격 기준, 그리고 적용 규칙을 정의하는 355개의 테스트 속성.
framework/criteria.json: 통제 항목을 61개의 Trust Services Criteria에 매핑.
framework/evidence_map.json: 통제가 충족하는 22개의 증거 소스 매핑.
method/scoping-playbook.json: 시스템을 in-scope, out-of-scope 또는 subservice organization으로 분류하기 위한 가이드라인.
method/collection-rules.md: 증거 수집을 위한 운영 규칙.
method/tools.md: 연결된 AI가 호출할 수 있는 모든 도구 목록(라이브 서버에서 생성됨).

Calibrating AI Judgment with Worked Examples

AI 모델이 스스로를 너무 관대하게 평가하는 것을 방지하기 위해, Chiaro는 498개의 보정 예시를 제공합니다. 이 예시들은 특정 판단, AI가 도달한 초기 판결, 올바른 판결, 그리고 수정 사항에 대한 근거를 기록합니다.

이 예시들은 고객 기밀을 보호하기 위해 합성된 것이지만, 현장 실사 중 직면한 실제 사례를 기반으로 합니다. 이러한 수정 사항의 분포를 통해 AI 감사의 핵심 통찰력을 얻을 수 있습니다: 303개의 예시는 너무 엄격했던 AI를 수정하고, 195개의 예시는 너무 관대했던 AI를 수정합니다. 저자에 따르면, AI 엔진은 누락된 아티팩트가 시스템의 다른 곳에 있는 다른 증거로 커겨질 수 있다는 것을 인지하지 못하기 때문에 문제를 과도하게 플래깅(flagging)하는 경향이 있습니다.

Shift from Sampling to Complete Populations

Chiaro의 Type II 테스트 방법은 통계적 샘플링에 의존하기보다 전체 모집단(complete populations)을 검증하는 것을 기본값으로 합니다. 현대 기업의 데이터는 기계에 의해 생성되므로, 기계의 속도로 검증할 수 있습니다.

이 접근 방식의 주요 측면은 다음과 같습니다:

Full Population Testing: 고객의 AI가 관찰 기간 내의 통제 실행의 모든 단일 사례(예: 모든 변경, 종료 또는 액세스 검토)를 검색합니다.
Corroboration: 완결성은 기록된 검색 및 사용 가능한 경우 독립적인 두 번째 소스에 대한 대조를 통해 검증됩니다.
Deterministic Testing: 구조화된 증거는 결정론적으로 테스트되며, 산문 형태의 데이터는 보정된 읽기를 통해 테스트됩니다. 모든 후보 편차는 CPA가 확인합니다.
Sampling as Fallback: 샘플링은 모집단을 전체적으로 검색할 수 없는 경우에만 사용됩니다. 이 경우, 선택은 특정 당사자가 샘플을 유도하거나 "re-rolling"하는 것을 방지하기 위해 저장된 모집단의 해시값에서 시드(seed)를 추출하여 수행됩니다.

Implementation and Legal Constraints

방법론은 CC BY 4.0 라이선스 하에 오픈 소스로 공개되었지만, 방법론과 법적 인증(legal attestation) 사이에는 중요한 차이가 있습니다. 누구나 Chiaro 프레임워크를 사용하여 감사 준비를 위한 준비 상태 체크를 준비하거나 수행할 수 있지만, SOC 2 의견(opinion)에 서명명할 수 있는 것은 면허를 가진 CPA firm만이 가능합니다. 서명은 AT-C 205에 따른 규제 대상 프로세스의 일부이기 때문입니다.

Industry Context and Transparency

Chiaro의 이 방법론 오픈 소스 공개 결정은, 서로 다른 회사가 동일해 보이는 보고서를 생성하면서도 매우 다른 수준의 엄격함을 적용할 수 있는 현재의 SOC 2 환경에 대한 비판에서 비롯되었습니다. Type II 심사를 수행하기 전에 방법론을 공개함으로써, Chiaro는 결과가 알려지기 전에 규칙이 확립되도록 하여, 사후에 결과에 맞춰 규칙을을 조정하는 "fitting"을 방지하고자 합니다.