Juneo-Lab/decision-forge
Compile organizational policy into verifiable decision training data.
Decision Forge 是一个开源工具,可将组织的书面政策(手册、SOP、审批规则)转化为 AI 代理的经过验证的训练数据。其目标是让 AI 代理值得信赖,通过教授它们每个组织的具体判断规则——哪些操作被允许、哪些需要人工批准、哪些信息可以共享等。
功能
- 读取您的文档 – 支持文本、Markdown、PDF、Word、Excel、PowerPoint、HTML、CSV/TSV,甚至扫描图像(通过 OCR)。
- 提取决策规则 – 从这些文档中识别规则、阈值和升级标准。
- 生成场景 – 创建代理必须做出决策的现实情境(例如,“向已验证客户退款 400 美元”)。
- 标注每个场景 – 通过确定性解释器重放规则,确定正确的操作(继续、阻止、交回人工等)。每个标签都可追溯到特定规则及其来源。
- 导出训练数据 – 生成四种格式的数据集,适用于训练 AI 模型,并内置防止训练集和测试集之间数据泄漏的保护措施。
工作原理
该流程分为两个阶段:
- 编译(可选,使用模型) – 您可以使用大型语言模型(通过 API)从文档中起草规则。这些草稿随后由人工审核。
- 离线数据生成 – 规则批准后,所有操作在本地运行,无需 API 密钥或模型下载。工具生成场景,应用规则进行标注,去重,并导出最终数据集。
主要特点
- 政策验证的标签 – 每个标签都根据声明的规则重新计算,而非猜测。
- 来源可追溯 – 每条规则都链接到源文档中的确切引用,并带有哈希以确保完整性。
- 防泄漏分割 – 相关场景保持在相同的训练/测试分割中,并移除跨分割的重复项。
- 四种导出格式 – 包括一种特殊的“候选读出”格式,用于训练模型在选项中进行选择。
- 离线且私密 – 核心流程在您自己的基础设施内运行;数据不会离开您的控制。
快速开始
需要 Python 3.11+ 和 uv。基本流程无需 API 密钥。您可以使用虚构的客户支持示例运行演示:
git clone https://github.com/Juneo-Lab/decision-forge
cd decision-forge
uv sync --group dev
uv run decision-forge validate examples/customer_support/project.yaml
uv run decision-forge build examples/customer_support/project.yaml --output runs/demo
uv run decision-forge export runs/demo --output runs/demo-decision --format decision
这将生成一个完整的、经过验证的数据集,包含 336 个片段,分为训练/开发/测试集,且零模型调用。
为什么数据值得信赖
- 标签由确定性解释器重新计算。
- 规则根据源文本进行验证。
- 所有编译的规则都需要人工审核。
- 分割被锁定,以防止未来更改将场景族在训练和测试集之间移动。
- 系统报告请求数据与实际数据之间的任何差距。
支持范围(当前版本)
- 支持多种文档格式的摄取。
- 对所有四个决策面进行确定性标注。
- 分布配额、可行性报告和验证合成。
- 族级分割隔离和去重。
- 四种训练导出格式。
- 运行时事件摄取和反馈循环。
下一个里程碑包括与因果模型的更深入集成和更广泛的评估。
证据
项目包含 311 个测试,语句覆盖率达 90.89%,在 Linux/macOS 上进行 CI,并归档了在虚构输入上的实时模型运行,显示高准确性。它还有一份吞吐量基准报告。
有关完整详细信息,请参阅 README 和链接的文档。
相关
- 项目
- 项目
- 项目
- 项目