DAYJOB: Tax 基准测试评估 AI 智能体在专业税务任务中的表现

评估税务 AI 的专业判断力

目前的 AI 智能体在复制税务咨询所需的专业判断力方面仍面临困难，经常错过关键截止日期或无法验证基础假设。虽然模型可以执行单独的计算或检索数据，但它们往往无法识别“后果性问题”——即存在于客户请求初始范围之外，但对财务结果至关重要的那些问题。

这种性能差距正是 DAYJOB: Tax 的关注重点。这是由 Surge AI 设计的一项新基准测试，旨在评估 AI 智能体在 50 个专业税务环境中的表现。与以往侧重于孤立问题或简单计算的基准测试不同，DAYJOB: Tax 要求智能体处理杂乱的现实世界记录，并确定为保护客户利益需要采取哪些行动。

DAYJOB: Tax 基准测试

DAYJOB: Tax 评估了八个业务领域的表现，包括个人、小型企业、合伙企业、遗产和国际税务。该基准测试包含 1,789 个工作区文件，范围从标准的税务表格和 K-1 表格，到手写收据、现场调度日志和电子邮件往来等非结构化数据。

要通过一项任务，智能体必须达到 95% 的评分标准，该标准评估以下方面：

• 专业判断力： 识别客户未提及的问题。
• 证据评估： 解决冲突信息并识别缺失的文档。
• 指令遵循： 提供准确、合规的工作底稿或建议。

性能结果

目前的领先模型在这些复杂环境中表现有限。Claude Sonnet 5.5 以 10.8% 的通过率位居排行榜首位，其次是 Claude Fable 5.1 (9.6%) 和 Claude Opus 5.5 (9.2%)。这些结果表明，尽管模型正在进步，但它们距离端到端税务咨询的人类水平基准仍有很大差距。

案例研究：隐藏的截止日期

在一个场景中，智能体被要求评估出售公寓的税务影响。虽然智能体正确识别出销售日期满足 250,000 美元税收减免的居住要求，但它未能提醒客户注意一个迫在眉睫的截止日期——如果销售延迟，该日期将导致他们失去资格。这说明了核心挑战：智能体回答了所提出的具体问题，但未能像专业顾问那样预见客户不知道要询问的风险。

社区观点

围绕该基准测试以及 AI 在税务准备中更广泛应用的讨论，突显了几个关键的矛盾点：

• 对脚手架的需求： 一些观察人士建议，可以通过使用特定任务的工具或“脚手架”来提高性能，强制模型在生成建议之前先汇总需求。正如一位评论者所指出的：“这类注重细节的专业任务，如果使用特定任务的工具，表现似乎会更好。”
• 数学和逻辑限制： 用户指出，LLM 往往在基础算术和现实世界推理方面表现吃力，而这对税务工作至关重要。一位贡献者指出：“为了让 LLM 做好税务工作，它需要接受许多场景的训练，并且需要一个可以作为支持服务的数学服务。”
• 隐私与信任： 敏感财务数据的安全性仍然是一个重大担忧。用户对将个人财务信息输入 LLM 表示犹豫，并指出虽然人类会计师也会犯错，但 AI 生成错误缺乏问责制仍然是一个主要障碍。
• 实际效用： 许多用户报告称，AI 目前是审计自己草拟申报表或分类交易的有用工具，但它还不足以作为独立的税务准备人员。正如一位用户总结的那样：“它是一个非常有用的税务工具，但不出所料，它还不够好，不能让你把所有文书工作扔进去，就指望得到一份不需要检查的完美申报表。”