Codexを使った自己改善型税務エージェントの構築

OpenAIとThrive Holdingsは、Creteの会計士向けにTax AIを共同開発し、Codexを使用して本番の失敗を自律的改善のための構造化されたシグナルに変換するシステムを作成しました。このアプローチにより、エージェントはシンプルなフォームの処理から複雑な税務申告へと進化し、あらゆるエッジケースごとに手動エンジニアリングを必要としなくなります。

測定可能なパフォーマンス向上

Tax AIは、1040および1041の申告書の税務準備における手作業の負担を大幅に軽減し、実務者の準備時間を約3分の1削減し、スループットを50%向上させます。

• Accuracy: システムは最大97%の精度で申告書を下書きします。
• Completion Rates: ローンチ時には、申告書の25%のみが75%の正しいフィールド完了率を達成していました。6週間以内にこれが86%に増加しました。
• Complexity Scaling: システムは最初にW-2や1099などの基本文書を処理し、その後複雑なK-1やスケジュールに拡張しました。各新機能により、申告書あたりの時間削減がさらに大きくなります。

3部構成の自己改善ループ

手動のプロンプト調整やエンジニアリング修正を超えるため、チームは実際の使用状況に基づいてエージェントが自己改善できる3本柱のアーキテクチャを実装しました。

1. エキスパート実務者からのフィードバック

実務者は日常業務を通じて学習プロセスを導きます。レビュー過程でシステムエラーを修正することにより、会計士はどのエラーが重要で、ワークフローのどの部分に最も注意を払うべきかを特定するグランドトゥルースを提供します。

2. 本番トレースを証拠として

Tax AIは、トランザクションの全経路をキャプチャします—元のソース素材と抽出されたフィールド（引用付き）から、最終的な下流送信とエキスパートの修正まで。この構造化された履歴により、チームは真の抽出漏れ、マッピング問題、または予期されるワークフローノイズを区別できます。

3. Codex駆動のイテレーション

本番の問題が特定され、実行可能な発見にグループ化されると、それらはターゲット評価（eval）セットに変換されます。その後、Codexは境界のあるエンジニアリングループ内で動作し、以下を行います：

• Investigate: ソースパッケージ、抽出スキーマ、コードパスを分析して根本原因を見つけ出します。
• Implement: 抽出スキーマを更新し、ソース選択を改善するか、税エンジンマッパーを洗練させます。
• Validate: ターゲット評価と広範な回帰スイートを再実行し、人間のエンジニアによるレビューのための候補プルリクエストを提案します。

ケーススタディ: 賃貸不動産の抽出 (Schedule E)

手書きのメモやスプレッドシートなどの乱雑なソース素材のため、賃貸不動産収入の抽出は複雑です。自己改善ループは以下のようにこれを処理します：

1. Correction: 実務者は、エージェントの予測と異なる申告書の値を修正します。
2. Trace Analysis: システムは出力と申告書を比較してフィールドレベルのレビュー行を生成します。繰り返されるパターン（例：一貫して「フェアレンタル日数」が欠落している）は、evalターゲットにグループ化されます。
3. Codex Resolution: Codexはターゲットevalセットを受け取り、製品スキャフォールドを調査します。特定の失敗を解決するために抽出スキーマを拡張したり、マッパーを更新したりする可能性があり、その後回帰スイートに対して修正を検証します。

Codexの実装フレームワーク

このループを構築するには、書き込み可能なワークツリーと読み取り専用の本番コンテキストを分離する境界のあるタスク環境が必要です。

• Writable Worktree: Codexが変更できるスコープされた製品サーフェス、ターゲット/回帰eval、および再利用可能なスキル/ドキュメントを含みます。
• Read-Only Context: 本番トレース、ソースドキュメント、エージェントの予測、最終化された返却、および税エンジンフィールドドキュメントを提供します。

この構造により、Codexは基礎となる証拠を変更せずに失敗を調査でき、エンジニアは全体のアーキテクチャと最終的な出荷決定に対して責任を持ち続けます。

より広い影響とドメイン拡張

Tax AIで確立されたパターン—本番のアーティファクトとトレースを使用してエージェントの改善を促進するもの—は、Thrive Holdings内の他のドメイン、つまり経理、監査、ITヘルプデスクの自動化に適用されています。このプロジェクトは、最も効果的なエージェントは、人間のエキスパートによって導かれ、時間とともにより有能で信頼できるものになることを示しています。