GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度
GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度
GLM 5.2 在增值稅申報準備上達到接近人類的準確度
GLM 5.2 是一款開放權重的 AI 模型,能以遠低於人工簿記師的成本,為英國小型企業準備近乎完美的季度增值稅(VAT)申報。在包含 59 筆交易的基準測試中,模型在 68 分鐘內處理完資料,原始代幣成本為 2.73 美元,最終的淨增值稅位置僅偏差 7 便士(約 10 美分),與人工製作的真實值相差無幾。
基準測試方法論
資料與環境
研究人員使用 Vineyard Finance 2026 年第一季的帳冊作為測試集。基準測試向模型提供每筆交易的三個主要輸入:
- 銀行流水行:包含日期、金額、貨幣與說明的 JSON 資料。
- 收據 PDF:含文字的 PDF(不需要視覺辨識能力)。
- 使用者備註:可選的上下文(在 59 筆中有 2 筆使用),提供銀行流水或收據無法推導的實務資訊。
GLM 5.2 部署於 Google Cloud Platform(GCP)實例,透過 Fireworks AI 的無伺服器層級執行。為確保模型無法存取真實值,模型被隔離於測試環境之外,但仍保有網路存取權與透過預先驗證的指令列介面(CLI)工具連接雲端會計軟體的權限。
評分標準
每筆交易根據會計軟體最終狀態的六項確定性標準進行評估:
- 交易類型:(例如,採購、銷售收入、轉帳)。
- 科目:科目表中的具體帳戶。
- 增值稅處理:(例如,20% VAT、0% VAT、反向收費)。
- 增值稅金額:容差為 0.02 英鎊。
- 反向收費增值稅:容差為 0.02 英鎊。
- 收據附件:驗證是否附上正確的證明文件。
效能分析
成功之處
GLM 5.2 在多項複雜簿記任務中展現高度可靠性:
- 精確分類:模型幾乎為每筆交易正確指派至科目表中的正確帳戶。
- 消除歧義:成功處理了棘手的輸入,例如同一天同一供應商的相同金額、公司銀行之間的轉帳,以及跨多筆銀行流水行的交易分割。
- 文件匹配:模型從未將錯誤的發票附加至交易。
錯誤與限制
在 354 項評分檢查中,模型在 18 筆交易中共失敗 20 次。這些錯誤可分為三類:
1. 法律分類錯誤(嚴重) 模型將「創始股份」(10,000 英鎊) 錯誤歸類為「資本帳戶」而非「未繳股份」。雖然此錯誤未影響增值稅申報,但對公司審計與年終申報具有重大法律影響,因為股本屬於永久性、保護債權人的資本。
2. 稅務類別混淆 在 14 筆交易中,模型將「零稅率」增值稅與「免稅」增值稅混淆。雖然兩者皆不涉及增值稅付款,但在稅法上屬於不同類別。模型的表現呈隨機性,1 月與 2 月失敗,3 月則成功。
3. 分割交易的推理錯誤 在三筆涉及多幣別餘額(Wise)的案例中,模型偶爾會「雙重計算」——對分割交易的主體與剩餘部分皆計算增值稅,儘管財務影響微乎其微。
技術資源消耗
| 月份 | 交易筆數 | 回合數 | 工具呼叫次數 | 實際執行時間 | 提示代幣數 | 輸出代幣數 | 估計成本 |
|---|---|---|---|---|---|---|---|
| 一月 | 8 | 28 | 38 | 10.3 分鐘 | 871,917 | 34,371 | $0.45 |
| 二月 | 29 | 37 | 44 | 31.4 分鐘 | 1,873,745 | 65,929 | $0.94 |
| 三月 | 22 | 47 | 55 | 26.3 分鐘 | 2,985,966 | 93,183 | $1.34 |
| 總計 | 59 | 112 | 137 | 68 分鐘 | 5.73M | 193,483 | $2.73 |
註:提示代幣有 92‑95% 已快取,顯著降低成本。
社群見解與反駁
技術使用者的討論指出了基準成功與實際部署之間的多項關鍵差距:
資料取得的「最後一哩」 批評者指出,基準測試直接提供了收據與使用者備註,而人類簿記師必須主動在郵箱中尋找發票或向供應商索取。
「幾乎所有值得做的非輸入型辦公工作,都涉及大量未被記錄(甚至無法記錄)的問題,需要判斷與經驗。」
責任與問責 一個持續的關切是稅務錯誤的法律責任。與人類會計師不同,LLM 無法承擔法律責任,也不會因稅務詐欺或疏忽而入獄。
「你購買的不是服務本身,而是免於為服務擔憂的安心感。」
「近乎正確」的悖論 部分使用者認為,在稅務合規上,「基本正確」遠遠不夠,任何錯誤都可能導致罰款或審計,無論誤差多小。
「我不能向 IRS 提交『幾乎正確』的報表。那樣結局不會好。」
摘要
開放權重的 GLM 5.2 模型在基準測試中顯示,能以高準確度完成英國季度增值稅申報,處理 59 筆交易的成本僅 2.73 美元,然而在複雜的法律分類上仍有不足。
標題
GLM 5.2 VAT 基準測試:AI 在英國中小企業簿記中的準確度