GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度

GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度

GLM 5.2 在增值稅申報準備上達到接近人類的準確度

GLM 5.2 是一款開放權重的 AI 模型,能以遠低於人工簿記師的成本,為英國小型企業準備近乎完美的季度增值稅(VAT)申報。在包含 59 筆交易的基準測試中,模型在 68 分鐘內處理完資料,原始代幣成本為 2.73 美元,最終的淨增值稅位置僅偏差 7 便士(約 10 美分),與人工製作的真實值相差無幾。

基準測試方法論

資料與環境

研究人員使用 Vineyard Finance 2026 年第一季的帳冊作為測試集。基準測試向模型提供每筆交易的三個主要輸入:

  • 銀行流水行:包含日期、金額、貨幣與說明的 JSON 資料。
  • 收據 PDF:含文字的 PDF(不需要視覺辨識能力)。
  • 使用者備註:可選的上下文(在 59 筆中有 2 筆使用),提供銀行流水或收據無法推導的實務資訊。

GLM 5.2 部署於 Google Cloud Platform(GCP)實例,透過 Fireworks AI 的無伺服器層級執行。為確保模型無法存取真實值,模型被隔離於測試環境之外,但仍保有網路存取權與透過預先驗證的指令列介面(CLI)工具連接雲端會計軟體的權限。

評分標準

每筆交易根據會計軟體最終狀態的六項確定性標準進行評估:

  1. 交易類型:(例如,採購、銷售收入、轉帳)。
  2. 科目:科目表中的具體帳戶。
  3. 增值稅處理:(例如,20% VAT、0% VAT、反向收費)。
  4. 增值稅金額:容差為 0.02 英鎊。
  5. 反向收費增值稅:容差為 0.02 英鎊。
  6. 收據附件:驗證是否附上正確的證明文件。

效能分析

成功之處

GLM 5.2 在多項複雜簿記任務中展現高度可靠性:

  • 精確分類:模型幾乎為每筆交易正確指派至科目表中的正確帳戶。
  • 消除歧義:成功處理了棘手的輸入,例如同一天同一供應商的相同金額、公司銀行之間的轉帳,以及跨多筆銀行流水行的交易分割。
  • 文件匹配:模型從未將錯誤的發票附加至交易。

錯誤與限制

在 354 項評分檢查中,模型在 18 筆交易中共失敗 20 次。這些錯誤可分為三類:

1. 法律分類錯誤(嚴重) 模型將「創始股份」(10,000 英鎊) 錯誤歸類為「資本帳戶」而非「未繳股份」。雖然此錯誤未影響增值稅申報,但對公司審計與年終申報具有重大法律影響,因為股本屬於永久性、保護債權人的資本。

2. 稅務類別混淆 在 14 筆交易中,模型將「零稅率」增值稅與「免稅」增值稅混淆。雖然兩者皆不涉及增值稅付款,但在稅法上屬於不同類別。模型的表現呈隨機性,1 月與 2 月失敗,3 月則成功。

3. 分割交易的推理錯誤 在三筆涉及多幣別餘額(Wise)的案例中,模型偶爾會「雙重計算」——對分割交易的主體與剩餘部分皆計算增值稅,儘管財務影響微乎其微。

技術資源消耗

月份 交易筆數 回合數 工具呼叫次數 實際執行時間 提示代幣數 輸出代幣數 估計成本
一月 8 28 38 10.3 分鐘 871,917 34,371 $0.45
二月 29 37 44 31.4 分鐘 1,873,745 65,929 $0.94
三月 22 47 55 26.3 分鐘 2,985,966 93,183 $1.34
總計 59 112 137 68 分鐘 5.73M 193,483 $2.73

註:提示代幣有 92‑95% 已快取,顯著降低成本。

社群見解與反駁

技術使用者的討論指出了基準成功與實際部署之間的多項關鍵差距:

資料取得的「最後一哩」 批評者指出,基準測試直接提供了收據與使用者備註,而人類簿記師必須主動在郵箱中尋找發票或向供應商索取。

「幾乎所有值得做的非輸入型辦公工作,都涉及大量未被記錄(甚至無法記錄)的問題,需要判斷與經驗。」

責任與問責 一個持續的關切是稅務錯誤的法律責任。與人類會計師不同,LLM 無法承擔法律責任,也不會因稅務詐欺或疏忽而入獄。

「你購買的不是服務本身,而是免於為服務擔憂的安心感。」

「近乎正確」的悖論 部分使用者認為,在稅務合規上,「基本正確」遠遠不夠,任何錯誤都可能導致罰款或審計,無論誤差多小。

「我不能向 IRS 提交『幾乎正確』的報表。那樣結局不會好。」


摘要

開放權重的 GLM 5.2 模型在基準測試中顯示,能以高準確度完成英國季度增值稅申報,處理 59 筆交易的成本僅 2.73 美元,然而在複雜的法律分類上仍有不足。

標題

GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度

Sources