Codex를 사용한 자체 개선 세무 에이전트 구축

OpenAI와 Thrive Holdings는 크리트 회계사를 위한 Tax AI를 공동 개발하여, Codex를 사용해 생산 실패를 자율적 개선을 위한 구조화된 신호로 변환하는 시스템을 만들었습니다. 이 접근 방식은 매 엣지 케이스마다 수작업 엔지니어링 없이 간단한 양식 처리에서 복잡한 세무 신고로 에이전트가 진화할 수 있게 합니다.

측정 가능한 성능 향상

Tax AI는 1040 및 1041 신고서의 세무 준비 수작업 부담을 크게 줄여, 실무자의 준비 시간을 약 1/3 절감하고 처리량을 50% 증가시킵니다.

• 정확도: 시스템은 최대 97% 정확도로 신고서를 초안 작성합니다.
• 완료율: 출시 시, 반환의 25%만이 75% 정확한 필드 완료율에 도달했습니다. 6주 이내에 이 수치는 86%로 증가했습니다.
• 복잡성 확장: 시스템은 inicialmente W-2s 및 1099s와 같은 기본 문서를 처리했으며, 이후 복잡한 K-1 및 스케줄로 확장되었습니다. 각 새로운 기능은 반환당 더 큰 시간 절약을 제공합니다.

삼부분 자체 개선 루프

수동 프롬프트 조정과 엔지니어링 수정을 넘어가기 위해, 팀은 실제 사용 기반으로 에이전트가 스스로 개선할 수 있게 하는 삼각 구조 아키텍처를 구현했습니다.

1. 전문가 실무자 피드백

실무자는 일상 업무를 통해 학습 과정을 주도합니다. 검토 과정에서 시스템 오류를 수정함으로써 회계사들은 어떤 오류가 critical한지 및 워크플로의 어느 부분이 가장 많은 주의가 필요한지를 식별하는 실제 사실을 제공합니다.

2. 생산 트레이스를 증거로

Tax AI는 트랜잭션의 전체 경로를 원본 소스 자료 및 추출된 필드(인용 포함)에서 최종 하류 제출 및 전문가 수정까지 캡처합니다. 이 구조화된 기록은 팀이 실제 추출 누락, 매핑 문제, 또는 예상 워크플로 노이즈를 구분할 수 있게 합니다.

3. Codex 기반 반복

생산 문제가 식별되어 실행 가능한 결과로 그룹화되면, 이들은 대상 평가(eval) 세트로 변환됩니다. Codex는その後 bounded engineering 루프 내에서 작동하여:

• 조사: 근본 원인을 찾기 위해 소스 패키지, 추출 스키마, 코드 경로를 분석합니다.
• 구현: 추출 스키마를 업데이트하고, 소스 선택을 개선하거나, tax-engine 매퍼를 정제합니다.
• 검증: 대상 eval 및 더 넓은 회귀 스위트를 재실행하여 인간 엔지니어 검토를 위한 후보 풀 리퀘스트를 제안합니다.

사례 연구: 임대 부동산 추출 (Schedule E)

손written 메모 및 스프레드시트와 같은 혼란스러운 소스 자료로 인해 임대 부동산 소득 추출은 복잡합니다. 자체 개선 루프는 다음과 같이 이를 처리합니다.

1. 수정: 실무자는 에이전트의 예측과 다른 값인 신고서의 값을 수정합니다.
2. 트레이스 분석: 시스템은 출력을 신고서와 비교하여 필드 수준 검토 행을 생성합니다. 반복되는 패턴(예: 지속적으로 누락된 "fair rental days))은 eval 대상으로 그룹화됩니다.
3. Codex 해결: Codex는 대상 eval 세트를 받고 제품 스캐폴드를 조사합니다. 특정 실패를 해결하기 위해 추출 스키마를 확장하거나 매퍼를 업데이트할 수 있으며,その後 회귀 스위트에 대해 수정을 검증합니다.

Codex를 위한 구현 프레임워크

이 루프를 구축하려면 쓰기 가능한 작업 트리와 읽기 전용 생산 컨텍스트를 분리하는 bounded 태스크 환경이 필요합니다.

• 쓰기 가능한 작업 트리: Codex가 수정할 수 있는 범위 내 제품 표면, 대상/회귀 evals, 그리고 재사용 가능한 기술/문서를 포함합니다.
• 읽기 전용 컨텍스트: 생산 트레이스, 소스 문서, 에이전트의 예측, 최종화된 반환, 그리고 tax-engine 필드 문서를 제공합니다.

이 구조는 Codex가 기본 증거를 변형하지 않고 실패를 조사할 수 있도록 보장하며, 엔지니어는 전체 아키텍처와 최종 배포 결정에 대한 책임이 여전히 있습니다.

더 넓은 의미와 도메인 확장

Tax AI에서 확립된 패턴—생산 아티팩트와 트레이스를 사용하여 에이전트 개선을 주도하는 것—은 Thrive Holdings 내의 다른 도메인, 즉 회계, 감사, IT 헬프 데스크 자동화에 적용되고 있습니다. 이 프로젝트는 인간 전문가의 지도를 받아 더 유능하고 신뢰할 수 있는 에이전트가 가장 효과적이라는 것을 보여줍니다.