DAYJOB: 税務ベンチマークが専門的な税務業務におけるAIエージェントの性能を評価

税務AIにおける専門的判断の評価

現在のAIエージェントは、税務アドバイザリーに必要な専門的判断を再現することに苦労しており、重要な期限を見逃したり、基本的な前提を検証できなかったりすることがよくあります。モデルは個別の計算やデータ取得はできるものの、クライアントの依頼の初期範囲外に存在しながらも財務結果に重要な影響を与える「重大な問題」を特定できないことが頻繁にあります。

この性能のギャップに焦点を当てたのが、Surge AIによる新しいベンチマークDAYJOB: Taxです。これは、50の専門的な税務環境でAIエージェントを評価するために設計されました。孤立した質問や単純な計算に焦点を当てた従来のベンチマークとは異なり、DAYJOB: Taxは、エージェントが複雑で現実的な記録を処理し、クライアントの利益を保護するために必要なアクションを決定することを要求します。

DAYJOB: Taxベンチマーク

DAYJOB: Taxは、個人、小規模事業、パートナーシップ、遺産、国際課税など、8つの実務分野にわたる性能を評価します。このベンチマークには、標準的な税務フォームやK-1から、手書きの領収書、現場派遣ログ、電子メールのやり取りなどの非構造化データまで、1,789のワークスペースファイルが含まれています。

タスクに合格するには、エージェントは95%のルーブリックしきい値を満たす必要があり、以下を評価します：

専門的判断： クライアントが言及しなかった問題を認識する。
証拠評価： 矛盾する情報を解決し、不足している文書を特定する。
指示の遵守： 正確で準拠したワークペーパーやアドバイスを提供する。

性能結果

現在の最先端モデルは、これらの複雑な環境では限定的な成功しか収めていません。Claude Sonnet 5.5が10.8%の合格率でリーダーボードをリードし、次いでClaude Fable 5.1（9.6%）、Claude Opus 5.5（9.2%）となっています。これらの結果は、モデルが改善しているものの、エンドツーエンドの税務アドバイザリーにおける人間レベルのベースラインにはほど遠いことを浮き彫りにしています。

ケーススタディ：隠された期限

あるシナリオでは、エージェントがコンドミニアムの売却に伴う税務影響を評価するよう求められました。エージェントは売却日が25万ドルの税制優遇を受けるための居住要件を満たしていることを正しく特定しましたが、売却が遅れた場合に資格を失う原因となる差し迫った期限についてクライアントに警告しませんでした。これは核心的な課題を示しています：エージェントは尋ねられた特定の質問には答えましたが、クライアントが知らないリスクを予測する専門アドバイザーとして行動しなかったのです。

コミュニティの視点

ベンチマークと税務準備におけるAIの広範な応用に関する議論は、いくつかの重要な緊張関係を浮き彫りにしています：

足場の必要性： 一部の観察者は、モデルがアドバイスを生成する前に要件をまとめることを強制するタスク固有のハーネスや「足場」を使用することで性能が向上する可能性があると示唆しています。あるコメンテーターは、「この種の細部に注意を要する専門的なタスクは、タスク固有のハーネスを使用するとより良い性能を発揮すると思われる」と述べています。
数学と論理の限界： ユーザーは、LLMが税務作業に重要な基本的な算術や物理世界の推論に苦労することが多いと指摘しています。ある貢献者は、「LLMが税務をうまく行うには、多くのシナリオでトレーニングされ、サポートサービスとして使用できる数学サービスが必要だろう」と述べています。
プライバシーと信頼： 重要な懸念は、機密性の高い財務データのセキュリティです。ユーザーは、個人の財務情報をLLMに入力することにためらいを表明し、人間の会計士も間違いを犯すが、AIが生成したエラーに対する説明責任の欠如が依然として大きなハードルであると述べています。
実用的な有用性： 多くのユーザーは、AIは現在、自分のドラフト申告書の監査や取引の分類に役立つツールであるが、単独の税務申告作成者として信頼できるほどにはまだ成熟していないと報告しています。あるユーザーは次のように要約しています：「税務にとって非常に有用なツールですが、おそらく驚くことではありませんが、すべての書類を放り込んで、チェック不要の完璧な申告書を期待するには十分ではありません。」