DAYJOB: Tax 벤치마크, 전문 세무 업무에 대한 AI 에이전트 성능 평가
세무 AI의 전문적 판단력 평가
현재 AI 에이전트는 세무 자문에 필요한 전문적 판단력을 재현하는 데 어려움을 겪고 있으며, 종종 중요한 기한을 놓치거나 기본적인 가정을 검증하지 못하는 경우가 많습니다. 모델이 개별 계산을 수행하거나 데이터를 검색할 수는 있지만, 고객의 초기 요청 범위 밖에서 존재하지만 재무적 결과에 결정적인 '중대한 문제'를 식별하는 데는 자주 실패합니다.
이러한 성능 격차는 Surge AI에서 새롭게 선보인 DAYJOB: Tax 벤치마크의 핵심 초점입니다. 이 벤치마크는 50개의 전문 세무 환경에서 AI 에이전트를 평가하도록 설계되었습니다. 고립된 질문이나 단순 계산에 초점을 맞춘 이전 벤치마크와 달리, DAYJOB: Tax는 에이전트가 복잡하고 실제적인 기록을 처리하고 고객의 이익을 보호하기 위해 어떤 조치가 필요한지 판단할 것을 요구합니다.
DAYJOB: Tax 벤치마크
DAYJOB: Tax는 개인, 소규모 사업자, 파트너십, 상속, 국제 조세를 포함한 8개 실무 영역 전반의 성능을 평가합니다. 이 벤치마크에는 표준 세무 양식 및 K-1부터 수기 영수증, 현장 파견 일지, 이메일 서신과 같은 비정형 데이터에 이르기까지 1,789개의 작업 공간 파일이 포함되어 있습니다.
작업을 통과하려면 에이전트는 다음을 평가하는 95% 루브릭 임계값을 충족해야 합니다:
- 전문적 판단: 고객이 언급하지 않은 문제를 인식하는 능력.
- 증거 평가: 상충하는 정보를 해결하고 누락된 문서를 식별하는 능력.
- 지시 이행: 정확하고 규정을 준수하는 작업 문서나 조언을 제공하는 능력.
성능 결과
현재의 최첨단 모델들은 이러한 복잡한 환경에서 제한적인 성공만을 거두고 있습니다. Claude Sonnet 5.5가 10.8%의 통과율로 리더보드 1위를 차지했으며, 그 뒤를 이어 Claude Fable 5.1(9.6%)과 Claude Opus 5.5(9.2%)가 위치했습니다. 이러한 결과는 모델이 개선되고는 있지만, 엔드투엔드 세무 자문에 있어서는 여전히 인간 수준의 기준과는 거리가 멀다는 점을 보여줍니다.
사례 연구: 숨겨진 기한
한 시나리오에서 에이전트는 콘도 매각에 따른 세무적 영향을 평가하라는 요청을 받았습니다. 에이전트는 매각 날짜가 25만 달러의 세금 감면을 위한 거주 요건을 충족한다는 점은 정확히 파악했지만, 매각이 지연될 경우 자격 요건을 상실하게 만드는 임박한 기한에 대해 고객에게 경고하지 못했습니다. 이는 핵심적인 과제를 보여줍니다. 에이전트는 질문받은 특정 질문에는 답했지만, 고객이 미처 알지 못하는 위험을 예측하는 전문 자문가로서의 역할은 수행하지 못한 것입니다.
커뮤니티 관점
이 벤치마크와 세무 분야에서의 광범위한 AI 적용을 둘러싼 논의는 몇 가지 주요한 긴장 관계를 강조합니다:
- 스캐폴딩(Scaffolding)의 필요성: 일부 관찰자들은 모델이 조언을 생성하기 전에 요구 사항을 정리하도록 강제하는 작업별 하네스나 '스캐폴딩'을 사용하면 성능이 향상될 수 있다고 제안합니다. 한 댓글 작성자는 "이러한 유형의 세부 사항 중심적인 전문 업무는 작업별 하네스를 사용할 때 더 나은 성능을 보일 것 같다"고 언급했습니다.
- 수학 및 논리적 한계: 사용자들은 LLM이 세무 업무에 필수적인 기본적인 산술 및 현실 세계의 추론에 어려움을 겪는다는 점을 지적합니다. 한 기여자는 "LLM이 세무 업무를 잘 수행하려면 많은 시나리오에 대해 학습되어야 하며, 지원 서비스로 사용할 수 있는 수학 서비스가 필요할 것"이라고 지적했습니다.
- 개인정보 보호 및 신뢰: 민감한 재무 데이터의 보안은 여전히 중요한 우려 사항입니다. 사용자들은 개인 재무 정보를 LLM에 입력하는 것에 대해 주저함을 표하며, 인간 회계사도 실수를 하지만 AI가 생성한 오류에 대한 책임 소재가 불분명하다는 점이 여전히 큰 걸림돌이라고 지적했습니다.
- 실질적 유용성: 많은 사용자는 현재 AI가 자신의 세금 신고서 초안을 검토하거나 거래를 분류하는 데 유용한 도구이지만, 독립적인 세무 대리인 역할을 하기에는 아직 신뢰할 수 없다고 보고합니다. 한 사용자는 다음과 같이 요약했습니다: "세무 분야에서 매우 유용한 도구이지만, 놀랍지 않게도 모든 서류를 쏟아붓고 검토할 필요 없는 완벽한 결과물을 기대할 만큼 충분히 뛰어나지는 않습니다."