Juneo-Lab/decision-forge

Compile organizational policy into verifiable decision training data.

Decision Forge는 조직의 서면 정책(핸드북, SOP, 승인 규칙)을 AI 에이전트를 위한 검증된 훈련 데이터로 변환하는 오픈소스 도구입니다. 목표는 각 조직의 특정 판단 규칙(허용되는 작업, 인간 승인이 필요한 것, 공유할 수 있는 정보 등)을 가르쳐 AI 에이전트를 신뢰할 수 있게 만드는 것입니다.

기능

  • 문서 읽기 – 텍스트, Markdown, PDF, Word, Excel, PowerPoint, HTML, CSV/TSV, 심지어 스캔된 이미지(OCR 통해)도 지원합니다.
  • 의사 결정 규칙 추출 – 문서에서 규칙, 임계값, 에스컬레이션 기준을 식별합니다.
  • 시나리오 생성 – 에이전트가 결정해야 하는 현실적인 상황을 만듭니다(예: "검증된 고객에게 $400 환불").
  • 각 시나리오 레이블 지정 – 결정적 인터프리터를 통해 규칙을 재생하여 올바른 작업(진행, 차단, 인간에게 반환 등)을 결정합니다. 각 레이블은 특정 규칙과 그 출처로 추적할 수 있습니다.
  • 훈련 데이터 내보내기 – AI 모델 훈련에 적합한 네 가지 형식의 데이터 세트를 생성하며, 훈련 세트와 테스트 세트 간 데이터 누출을 방지하는 내장 보호 기능이 있습니다.

작동 방식

파이프라인에는 두 단계가 있습니다:

  1. 컴파일(선택 사항, 모델 사용) – 대규모 언어 모델(API 통해)을 사용하여 문서에서 규칙을 초안할 수 있습니다. 이 초안은 인간이 검토합니다.
  2. 오프라인 데이터 생성 – 규칙이 승인된 후 모든 것이 API 키나 모델 다운로드 없이 로컬에서 실행됩니다. 도구는 시나리오를 생성하고, 규칙을 적용하여 레이블을 지정하고, 중복을 제거하고, 최종 데이터 세트를 내보냅니다.

주요 기능

  • 정책 검증 레이블 – 각 레이블은 선언된 규칙에서 다시 계산되며 추측이 아닙니다.
  • 출처 추적 – 각 규칙은 소스 문서의 정확한 인용문에 연결되며 무결성을 위한 해시가 포함됩니다.
  • 누출 방지 분할 – 관련 시나리오는 동일한 훈련/테스트 분할에 유지되고 교차 분할 중복은 제거됩니다.
  • 네 가지 내보내기 형식 – 옵션 중에서 선택하도록 모델을 훈련시키기 위한 특수 "후보 판독" 형식을 포함합니다.
  • 오프라인 및 프라이빗 – 핵심 파이프라인은 자체 인프라 내에서 실행됩니다. 데이터가 제어를 벗어나지 않습니다.

빠른 시작

Python 3.11+ 및 uv가 필요합니다. 기본 흐름에는 API 키가 필요 없습니다. 가상의 고객 지원 예제로 데모를 실행할 수 있습니다:

git clone https://github.com/Juneo-Lab/decision-forge
cd decision-forge
uv sync --group dev

uv run decision-forge validate examples/customer_support/project.yaml
uv run decision-forge build    examples/customer_support/project.yaml --output runs/demo
uv run decision-forge export   runs/demo --output runs/demo-decision --format decision

이렇게 하면 336개의 에피소드가 포함된 완전하고 검증된 데이터 세트가 생성되며, 훈련/개발/테스트로 분할되고 모델 호출이 0회입니다.

데이터가 신뢰할 수 있는 이유

  • 레이블은 결정적 인터프리터에 의해 다시 계산됩니다.
  • 규칙은 소스 텍스트에 대해 검증됩니다.
  • 모든 컴파일된 규칙에는 인간 검토가 필요합니다.
  • 분할은 잠겨 있어 향후 변경으로 인해 패밀리가 훈련 세트와 테스트 세트 사이에서 이동하는 것을 방지합니다.
  • 시스템은 요청된 데이터와 실현된 데이터 간의 차이를 보고합니다.

지원 범위(현재 릴리스)

  • 다양한 문서 형식의 수집.
  • 네 가지 의사 결정 표면 모두에 대한 결정적 레이블 지정.
  • 분포 할당량, 실현 가능성 보고, 검증된 합성.
  • 패밀리 수준 분할 격리 및 중복 제거.
  • 네 가지 훈련 내보내기 형식.
  • 런타임 이벤트 수집 및 피드백 루프.

다음 마일스톤에는 인과 모델과의 더 깊은 통합 및 더 넓은 평가가 포함됩니다.

증거

프로젝트에는 311개의 테스트가 포함되어 있으며 문장 적용 범위는 90.89%, Linux/macOS에서 CI, 가상 입력에 대한 보관된 라이브 모델 실행이 높은 정확도를 보여줍니다. 또한 처리량에 대한 벤치마크 보고서가 있습니다.

자세한 내용은 README 및 연결된 문서를 참조하십시오.

관련

  • 프로젝트
  • 프로젝트
  • 프로젝트
  • 프로젝트