Juneo-Lab/decision-forge

Compile organizational policy into verifiable decision training data.

Decision Forge 是一个开源工具,可将组织的书面政策(手册、SOP、审批规则)转化为 AI 代理的经过验证的训练数据。其目标是让 AI 代理值得信赖,通过教授它们每个组织的具体判断规则——哪些操作被允许、哪些需要人工批准、哪些信息可以共享等。

功能

  • 读取您的文档 – 支持文本、Markdown、PDF、Word、Excel、PowerPoint、HTML、CSV/TSV,甚至扫描图像(通过 OCR)。
  • 提取决策规则 – 从这些文档中识别规则、阈值和升级标准。
  • 生成场景 – 创建代理必须做出决策的现实情境(例如,“向已验证客户退款 400 美元”)。
  • 标注每个场景 – 通过确定性解释器重放规则,确定正确的操作(继续、阻止、交回人工等)。每个标签都可追溯到特定规则及其来源。
  • 导出训练数据 – 生成四种格式的数据集,适用于训练 AI 模型,并内置防止训练集和测试集之间数据泄漏的保护措施。

工作原理

该流程分为两个阶段:

  1. 编译(可选,使用模型) – 您可以使用大型语言模型(通过 API)从文档中起草规则。这些草稿随后由人工审核。
  2. 离线数据生成 – 规则批准后,所有操作在本地运行,无需 API 密钥或模型下载。工具生成场景,应用规则进行标注,去重,并导出最终数据集。

主要特点

  • 政策验证的标签 – 每个标签都根据声明的规则重新计算,而非猜测。
  • 来源可追溯 – 每条规则都链接到源文档中的确切引用,并带有哈希以确保完整性。
  • 防泄漏分割 – 相关场景保持在相同的训练/测试分割中,并移除跨分割的重复项。
  • 四种导出格式 – 包括一种特殊的“候选读出”格式,用于训练模型在选项中进行选择。
  • 离线且私密 – 核心流程在您自己的基础设施内运行;数据不会离开您的控制。

快速开始

需要 Python 3.11+ 和 uv。基本流程无需 API 密钥。您可以使用虚构的客户支持示例运行演示:

git clone https://github.com/Juneo-Lab/decision-forge
cd decision-forge
uv sync --group dev

uv run decision-forge validate examples/customer_support/project.yaml
uv run decision-forge build    examples/customer_support/project.yaml --output runs/demo
uv run decision-forge export   runs/demo --output runs/demo-decision --format decision

这将生成一个完整的、经过验证的数据集,包含 336 个片段,分为训练/开发/测试集,且零模型调用。

为什么数据值得信赖

  • 标签由确定性解释器重新计算。
  • 规则根据源文本进行验证。
  • 所有编译的规则都需要人工审核。
  • 分割被锁定,以防止未来更改将场景族在训练和测试集之间移动。
  • 系统报告请求数据与实际数据之间的任何差距。

支持范围(当前版本)

  • 支持多种文档格式的摄取。
  • 对所有四个决策面进行确定性标注。
  • 分布配额、可行性报告和验证合成。
  • 族级分割隔离和去重。
  • 四种训练导出格式。
  • 运行时事件摄取和反馈循环。

下一个里程碑包括与因果模型的更深入集成和更广泛的评估。

证据

项目包含 311 个测试,语句覆盖率达 90.89%,在 Linux/macOS 上进行 CI,并归档了在虚构输入上的实时模型运行,显示高准确性。它还有一份吞吐量基准报告。

有关完整详细信息,请参阅 README 和链接的文档。

相关

  • 项目
  • 项目
  • 项目
  • 项目