使用 Codex 建構自我改進的稅務代理

OpenAI 與 Thrive Holdings 共同為 Crete 會計師開發了 Tax AI，建構了一個使用 Codex 將生產失敗轉換為結構化信號以實現自主改進的系統。此方法使代理能夠從處理簡單表單演進到複雜的稅務申報，而無需為每種邊緣情況進行手動工程。

可衡量的效能提升

Tax AI 大幅降低了 1040 和 1041 報表稅務準備的手動負擔，為從業者節省了約三分之一的準備時間，並將吞吐量提高了 50%。

• Accuracy: 該系統起草的報表準確度最高可達 97%。
• Completion Rates: 在推出時，只有 25% 的報表達到 75% 正確欄位完成率。六週內，此比例提升至 86%。
• Complexity Scaling: 該系統最初處理基本文件，如 W-2 和 1099，之後擴展到複雜的 K-1 和附表，每項新功能都能提供更大的每份報表節省時間。

三部分自我改進迴圈

為了超越手動提示調整和工程修復，團隊實施了一種三支柱架構，使代理能夠基於真實世界的使用情況自我改進。

1. 專業從業者回饋

從業者透過日常工作引導學習過程。通過在審閱過程中修正系統錯誤，會計師提供了事實真相，以識別哪些錯誤是關鍵的，以及工作流程的哪部分需要最多關注。

2. 生產追蹤作為證據

Tax AI 捕捉交易的完整路徑——從原始來源材料和提取的欄位（帶有引用）到最終下游提交和專家修正。這種結構化歷史使團隊能夠區分真正的提取遺漏、映射問題或預期的工作流程噪聲。

3. Codex 驅動的迭代

一旦生產問題被識別並分組為可執行的發現，它們將被轉換為有針對性的評估（eval）集。然後 Codex 在有界的工程迴圈中運作：

• Investigate: 分析來源套件、提取結構和代碼路徑以找出根本原因。
• Implement: 更新提取結構，改進來源選擇，或精煉稅務引擎映射器。
• Validate: 重新運行有針對性的 evals 和更廣泛的回歸套件，以提出候選的拉取請求供人工工程審查。

案例研究：租賃財產提取（附表 E）

提取租賃財產收入很複雜，這是因為來源材料雜亂，例如手寫筆記和電子表格。自我改進迴圈處理此問題的方式如下：

1. Correction: 從業者修改已申報報表中的一個值，該值與代理的預測不同。
2. Trace Analysis: 系統將輸出與已申報報表進行比較，以產生欄位級審核行。重複模式（例如，持續遺漏 'fair rental days'）被分組為 eval 目標。
3. Codex Resolution: Codex 接收有針對性的 eval 集並調查產品骨架。它可能擴展提取結構或更新映射器以解決特定失敗，然後針對回歸套件驗證該修復。

Codex 的實施框架

構建此迴圈需要一個有界的任務環境，將可寫工作樹與唯讀生產環境分開。

• Writable Worktree: 包含 Codex 可修改的範圍產品表面、有針對性/回歸 evals，以及可重複使用的技能/文件。
• Read-Only Context: 提供生產追蹤、來源文件、代理的預測、最終報表以及稅務引擎欄位文件。

此結構確保 Codex 能在不變動底層證據的情況下調查失敗，同時工程師仍負責整體架構和最終出貨決策。

更廣泛的影響與領域擴展

Tax AI 建立的模式——使用生產工件和追蹤來驅動代理改進——正在 Thrive Holdings 的其他領域中應用，包括記帳、審計和 IT 服務台自動化。該專案表明，最有效的代理是那些在人類專家的引導下，隨時間變得更有能力且更值得信賴的。