GLM 5.2 VAT ベンチマーク：英国中小企業の簿記における AI の精度
GLM 5.2 VAT ベンチマーク：英国中小企業の簿記における AI の精度
GLM 5.2 は VAT 申告作成で人間に近い精度を実現
GLM 5.2 はオープンウェイト AI モデルで、英国の小規模事業者向けに、人的簿記担当者のごく一部のコストで、ほぼ完璧な四半期付加価値税（VAT）申告書を作成できます。59 件の取引を対象としたベンチマークでは、モデルはデータを 68 分で処理し、トークンコストは $2.73、実際の人間が作成した基準値と比較して純 VAT ポジションはたった 7 ペンス（約 10 米セント）だけの誤差でした。
ベンチマーク手法
データと環境
研究者は Vineyard Finance の 2026 年第1四半期の帳簿をテストセットとして使用しました。ベンチマークでは各取引に対してモデルに 3 つの主要入力を提供しました：
- 銀行フィード行：日付、金額、通貨、説明が含まれる JSON データ。
- 領収書 PDF：テキストが含まれる PDF（ビジョン機能は不要）。
- ユーザーノート：オプションのコンテキスト（59 件中 2 件で使用）で、銀行フィードや領収書からは導き出せない実務情報を提供。
GLM 5.2 は Google Cloud Platform（GCP）インスタンス上の Fireworks AI サーバーレス層でデプロイされました。モデルが基準値にアクセスしないようにテスト環境から隔離しつつ、インターネットアクセスと事前認証されたコマンドラインインターフェース（CLI）ツール経由でクラウド会計ソフトへのアクセスは許可しました。
スコアリング基準
各取引は会計ソフトの最終状態から導出された 6 つの決定的基準に基づいて評価されました：
- 取引タイプ（例：購入、売上収入、振替）。
- カテゴリ：勘定科目表の具体的な勘定。
- VAT 取扱い（例：20% VAT、0% VAT、リバースチャージ）。
- VAT 金額：±0.02 GBP の許容範囲内。
- リバースチャージ VAT：±0.02 GBP の許容範囲内。
- 領収書添付：正しい証拠が添付されているかの検証。
パフォーマンス分析
成功点
GLM 5.2 はいくつかの複雑な簿記タスクで高い信頼性を示しました：
- 正確な分類：ほぼすべての取引を勘定科目表の正しい勘定に割り当てました。
- 曖昧性解消：同一ベンダーから同日同額の取引、会社間銀行振替、複数の銀行フィード行にまたがる取引など、難解な入力をうまく処理しました。
- 文書照合：取引に誤った請求書を添付することは一度もありませんでした。
エラーと制限
354 件のスコアチェックのうち、20 件が 18 件の取引で失敗しました。これらのエラーは以下の 3 つのカテゴリに分類されます：
1. 法的分類エラー（重大） モデルは「創業株式」（10,000 GBP）を「未払株式」ではなく「資本勘定」と誤分類しました。VAT 申告には影響しませんが、会社監査や年末決算においては株式資本は永続的で債権者保護的な資本であるため、法的影響は大きいです。
2. 税区分の混同 14 件の取引で、モデルは「ゼロ税率」VAT と「免税」VAT を取り違えました。どちらも VAT 支払は発生しませんが、税法上は別カテゴリです。モデルのパフォーマンスは確率的で、1 月と 2 月に失敗し、3 月に成功しました。
3. 分割取引における推論エラー 複数通貨残高（Wise）を伴う 3 件のケースで、モデルは分割取引の主取引と残余取引の両方に対して VAT を二重計上することがありましたが、財務的インパクトは実質的に無視できる程度でした。
技術リソース消費
| 月 | 取引数 | ターン数 | ツール呼び出し数 | 実行時間 | プロンプトトークン数 | 出力トークン数 | 推定コスト |
|---|---|---|---|---|---|---|---|
| 1 月 | 8 | 28 | 38 | 10.3 分 | 871,917 | 34,371 | $0.45 |
| 2 月 | 29 | 37 | 44 | 31.4 分 | 1,873,745 | 65,929 | $0.94 |
| 3 月 | 22 | 47 | 55 | 26.3 分 | 2,985,966 | 93,183 | $1.34 |
| 合計 | 59 | 112 | 137 | 68 分 | 5.73M | 193,483 | $2.73 |
注：プロンプトトークンの 92‑95% がキャッシュされており、コストが大幅に削減されています。
コミュニティの洞察と反論
技術ユーザー間の議論では、ベンチマークの成功と実際の導入との間にいくつかの重要なギャップが指摘されました：
データ取得の「最終段階」 批評家は、ベンチマークがモデルに領収書とユーザーノートを提供したのに対し、人間の簿記担当者はメールボックスから請求書を探したり、供給者に依頼したりしなければならないと指摘しました。
"事務入力以外のほとんどの仕事は、文書化できない（あるいは文書化不可能な）問題が多く、判断と経験が必要です。"
責任とアカウンタビリティ 税務エラーに対する法的責任が繰り返し懸念されました。人間の会計士とは異なり、LLM は法的に責任を負ったり、税務詐欺や過失で刑務所に入ったりすることはできません。
"サービスを購入するというより、サービスを心配しなくて済むことを購入しているのです。"
「ほぼ正しい」パラドックス 一部ユーザーは、税務コンプライアンスにおいて「実質的に正しい」だけでは不十分で、誤差の大小に関わらず罰金や監査のリスクがあると主張しました。
"IRS に『ほぼ』という形で申告はできません。うまくいかないでしょう。"
要約
オープンウェイトの GLM 5.2 モデルのベンチマークは、59 件の取引を $2.73 のコストで処理し、英国の四半期 VAT 申告を高精度で作成できることを示しました。ただし、複雑な法的分類においては課題が残ります。
タイトル
GLM 5.2 VAT ベンチマーク：英国中小企業の簿記における AI の精度