使用 Codex 构建自我改进的税务代理

OpenAI 和 Thrive Holdings 共同为 Crete 会计师开发了 Tax AI，创建了一个使用 Codex 将生产故障转化为结构化信号以实现自主改进的系统。这种方法使代理能够从处理简单表单演变到复杂的税务申报，而无需为每种边缘情况进行手动工程。

可衡量的性能提升

Tax AI 大幅降低了 1040 和 1041 表税务准备的手动负担，为从业者节省了大约三分之一的准备时间，并将吞吐量提高了 50%。

• 准确性： 该系统起草的申报表准确率最高可达 97%。
• 完成率： 在发布时，只有 25% 的申报表达到 75% 的正确字段完成率。六周后，这一比例提升至 86%。
• 复杂性扩展： 该系统最初处理诸如 W-2 和 1099 之类的基本文件，随后扩展到复杂的 K-1 和附表，每新增一项功能都能为每份申报表提供更大的时间节省。

三部分自我改进循环

为了超越手动提示调整和工程修复，团队实施了一个三支柱架构，使代理能够基于真实世界的使用情况自我改进。

1. 专业从业者反馈

从业者通过日常工作引导学习过程。在审核过程中通过纠正系统错误，会计师提供了基准真相，以识别哪些错误是关键的以及工作流程的哪部分需要最多的关注。

2. 生产轨迹作为证据

Tax AI 捕获交易的完整路径——从原始源材料和提取的字段（带引用）到最终的下游提交和专家更正。这种结构化历史使团队能够区分真正的提取遗漏、映射问题或预期的工作流噪声。

3. Codex 驱动的迭代

一旦生产问题被识别并归类为可操作的发现，它们就会被转换为有针对性的评估（eval）集。然后 Codex 在有界的工程循环中运行：

• 调查： 分析源包、提取模式和代码路径以找到根本原因。
• 实施： 更新提取模式，改进源选择，或优化税务引擎映射器。
• 验证： 重新运行有针对性的 eval 和更广泛的回归套件，以提出候选拉取请求供人工工程审查。

案例研究：租赁物业提取（附表 E）

由于手写笔记和电子表格等杂乱的源材料，提取租赁物业收入是复杂的。自我改进循环处理此问题的步骤如下：

1. 更正： 从业者修改已申报申报表中的一个值，该值与代理的预测不同。
2. 轨迹分析： 系统将输出与已申报的申报表进行比较，以生成字段级审查行。重复模式（例如，持续缺失“公平租赁天数”）被分组为 eval 目标。
3. Codex 解决方案： Codex 接收有针对性的 eval 集并调查产品框架。它可能扩展提取模式或更新映射器以解决特定故障，然后在回归套件中验证修复。

Codex 的实施框架

构建此循环需要一个有界的任务环境，将可写工作树与只读生产上下文分开。

• 可写工作树： 包含 Codex 可修改的范围产品表面、有针对性的/回归 evals，以及可重用的技能/文档。
• 只读上下文： 提供生产轨迹、源文档、代理的预测、最终确定的申报表以及税务引擎字段文档。

此结构确保 Codex 可以在不更改底层证据的情况下调查故障，而工程师仍需对整体架构和最终发布决策负责。

更广泛的影响和领域扩展

Tax AI 建立的模式——使用生产工件和轨迹来驱动代理改进——正在 Thrive Holdings 的其他领域得到应用，包括簿记、审计和 IT 帮助台自动化。该项目表明，最有效的代理是那些在人类专家的引导下随时间变得更加强大和值得信赖的代理。