Juneo-Lab/decision-forge
Compile organizational policy into verifiable decision training data.
Decision Forge は、組織の書面によるポリシー(ハンドブック、SOP、承認ルール)を AI エージェント向けの検証済みトレーニングデータに変換するオープンソースツールです。目標は、各組織の特定の判断ルール(許可されるアクション、人間の承認が必要なもの、共有できる情報など)を教えることで、AI エージェントを信頼できるものにすることです。
機能
- ドキュメントの読み取り – テキスト、Markdown、PDF、Word、Excel、PowerPoint、HTML、CSV/TSV、さらにはスキャン画像(OCR 経由)をサポート。
- 意思決定ルールの抽出 – これらのドキュメントからルール、しきい値、エスカレーション基準を特定します。
- シナリオの生成 – エージェントが決定を下す必要がある現実的な状況を作成します(例:「検証済み顧客に 400 ドルを返金」)。
- 各シナリオのラベル付け – 決定的なインタープリターを通じてルールを再生し、正しいアクション(続行、ブロック、人間に戻すなど)を決定します。各ラベルは特定のルールとそのソースにトレース可能です。
- トレーニングデータのエクスポート – AI モデルのトレーニングに適した 4 つの形式でデータセットを生成し、トレーニングセットとテストセット間のデータリークを防ぐ組み込みの保護機能を備えています。
仕組み
パイプラインには 2 つのフェーズがあります:
- コンパイル(オプション、モデルを使用) – 大規模言語モデル(API 経由)を使用して、ドキュメントからルールをドラフトできます。これらのドラフトは人間によってレビューされます。
- オフラインデータ生成 – ルールが承認された後、すべてが API キーやモデルのダウンロードなしでローカルに実行されます。ツールはシナリオを生成し、ルールを適用してラベル付けし、重複を排除し、最終データセットをエクスポートします。
主な機能
- ポリシー検証済みラベル – 各ラベルは宣言されたルールから再計算され、推測ではありません。
- ソースの出所 – 各ルールはソースドキュメント内の正確な引用にリンクされ、整合性のためのハッシュが含まれます。
- リーク耐性分割 – 関連するシナリオは同じトレイン/テスト分割に保持され、クロス分割の重複は削除されます。
- 4 つのエクスポート形式 – オプション間で選択するモデルをトレーニングするための特別な「候補読み出し」形式を含みます。
- オフラインでプライベート – コアパイプラインは独自のインフラストラクチャ内で実行されます。データが制御外に出ることはありません。
クイックスタート
Python 3.11+ と uv が必要です。基本的なフローには API キーは不要です。架空のカスタマーサポートの例でデモを実行できます:
git clone https://github.com/Juneo-Lab/decision-forge
cd decision-forge
uv sync --group dev
uv run decision-forge validate examples/customer_support/project.yaml
uv run decision-forge build examples/customer_support/project.yaml --output runs/demo
uv run decision-forge export runs/demo --output runs/demo-decision --format decision
これにより、336 のエピソードを含む完全な検証済みデータセットが生成され、トレイン/開発/テストに分割され、モデル呼び出しはゼロです。
データが信頼できる理由
- ラベルは決定的なインタープリターによって再計算されます。
- ルールはソーステキストに対して検証されます。
- すべてのコンパイル済みルールには人間のレビューが必要です。
- 分割はロックされ、将来の変更がファミリーをトレーニングセットとテストセット間で移動するのを防ぎます。
- システムは要求されたデータと実現されたデータの間のギャップを報告します。
サポート範囲(現在のリリース)
- 多くのドキュメント形式の取り込み。
- 4 つの意思決定サーフェスすべてに対する決定的なラベル付け。
- 分布クォータ、実現可能性レポート、検証済み合成。
- ファミリーレベルの分割分離と重複排除。
- 4 つのトレーニングエクスポート形式。
- ランタイムイベントの取り込みとフィードバックループ。
次のマイルストーンには、因果モデルとのより深い統合とより広範な評価が含まれます。
証拠
プロジェクトには 311 のテストが含まれ、ステートメントカバレッジは 90.89%、Linux/macOS での CI、および架空の入力に対するアーカイブされたライブモデル実行が高精度を示しています。また、スループットのベンチマークレポートもあります。
詳細については、README とリンクされたドキュメントを参照してください。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト