Chiaro SOC 2 Methodology Open Source Release

Chiaroは、業界の「信頼」への依存を、透明性が高くマシンリーダブルなフレームワークに置き換えるため、SOC 2の準備および監査メソドロジーの全容をオープンソースとして公開しました。正確なコントロール、エビデンス基準、および審査中に使用される判断基準を公開することで、Chiaroは、企業が実際の監査で使用されるものと同じ基準で独自の準備状況評価を実行できるようにします。

Machine-Readable Audit Framework

Chiaroのメソドロジーは、人間によるレビューとAI統合の両方を目的として設計された、一連の構造化されたファイルとして提供されます。このアプローチにより、テストレイヤーがもはやブラックボックスではなくなり、ユーザーはコントロールがどのようにテストされるか、および何が合格基準を構成するかを正確に検証できるようになります。

リポジトリには以下のコアコンポーネントが含まれています：

framework/controls.json: 86個の特定のコントロールのライブラリ。
framework/test_attributes.json: 何がテストされるか、典型的なエビデンス、時点および期間評価の合格基準、および適用ルールを定義する355個のテスト属性。
framework/criteria.json: コントロールを61個のTrust Services Criteriaにマッピングしたもの。
framework/evidence_map.json: コントロールを満たす22個のエビデンスソースのマッピング。
method/scoping-playbook.json: システムをin-scope、out-of-scope、またはサブサービス組織として分類するためのガイドライン。
method/collection-rules.md: エビデンス収集の運用ルール。
method/tools.md: 接続されたAIが呼び出すことができるすべてのツールのリスト（ライブサーバーから生成）。

Calibrating AI Judgment with Worked Examples

AIモデルが自分自身を甘く判定しすぎないようにするため、Chiaroは498個のキャリブレーション（校正）例を提供しています。これらの例は、特定の判断、AIが下した初期の判定、正しい判定、および修正の背後にある理由を記録したものです。

これらの例は、クライアントの機密保持を保護するために合成データですが、実地調査中に遭遇した現実世界のシナリオに基づいています。これらの修正の分布は、AI監査に関する重要な洞察を示しています：303個の例は厳しすぎたAIを修正し、195個の例は甘すぎたAIを修正しています。著者によると、AIエンジンは、欠落しているアーティファクトがシステムの他の場所にある他のエビデンスによってカバーされている場合、それを感知できないため、問題を過剰にフラグ立てする傾向があります。

Shift from Sampling to Complete Populations

ChiaroのType IIテスト手法は、統計的なサンプリングに頼るのではなく、完全な母集団の検証をデフォルトとしています。現代の企業のデータはマシン生成であるため、マシンスピードで検証することが可能です。

このアプローチの主な側面は以下の通りです：

Full Population Testing: クライアントのAIが、観測期間内におけるコントロールの実行のすべてのインスタンス（例：すべての変更、終了、またはアクセスレビュー）を取得します。
Corroboration: 完全性は、記録された取得プロセス、および利用可能な場合は独立した第二のソースとの照合を通じて検証されます。
Deterministic Testing: 構造化されたエビデンスは決定論的にテストされ、散文形式のテキストは校正された読み取りによってテストされます。すべての候補となる逸脱はCPAによって確認されます。
Sampling as Fallback: サンプリングは、母集団を完全に取得できない場合にのみ使用されます。この場合、選択は、いかなる当事者もサンプルを誘導したり「再ロール」したりすることを防ぐため、蓄積された母集団のハッシュ値からシード値として生成されます。

Implementation and Legal Constraints

メソドロジーはCC BY 4.0ライセンスの下でオープンソースとして公開されていますが、メソドロジーと法的証明（attestation）の間には重要な違いがあります。Chiaroフレームワークを使用して監査の準備や準備状況チェックを実行することは誰でも可能ですが、SOC 2意見書（opinion）を発行できるのは、ライセンスを持つCPA事務所のみです。これは、、AT-C 205に基づき、署名がプロセスの規制対象部分であるためです。

Industry Context and Transparency

このメソドロジーをオープンソース化する決定は、現在のSOC 2の状況に対する批判に基づいています。現在の状況では、異なる事務所が、全く同じように見えるレポートを作成しながら、極端に異なる厳格さのレベルを適用している場合があります。Type II審査の実施前にメソドロジーを公開することで、Chiaroは、結果が判明する前にルールが確立されていることを確実にし、結果に合わせてルールを「適合」させることを防ぐことを目的としています。