AI 的成本:效率、Dogfooding 與「Tokenmaxxing」陷阱

一份近期報告指出 Microsoft 正面臨與 AI 使用相關的成本攀升問題,這在工程師與產業觀察家之間引發了激烈辯論。雖然標題往往將敘事簡化為人類勞動力與 AI 成本之間的二元選擇,但現實情況要複雜得多,涉及企業策略、內部產品採用,以及對如何衡量 AI 生產力的系統性誤解。

「AI vs. 人類」的誤導性敘事

圍繞 Microsoft AI 支出的大部分討論都集中在一個感知中的衝突:AI 是否比支付給人類員工更貴?然而,仔細審視原始資料與社群回饋後發現,這是一個偽命題。核心問題並不在於 AI 本質上比薪水更貴,而是在於 AI 如何在龐大的企業基礎設施中被部署與管理。

批評者認為,「AI 更貴」的標題前提從根本上就是錯誤的。正如一位觀察家所言:「AI 並不比支付給人類員工更貴,只是 AI 目前還無法取代人類員工。」當 AI 被用作人類勞動力的補充,卻缺乏明確的效率計畫時,成本問題就會出現,這導致了成本的增加而非減少。

「Tokenmaxxing」現象

從這次討論中浮現的最關鍵洞察之一是「tokenmaxxing」的概念——組織傾向於將 token 使用量視為生產力或創新的代理指標。當公司根據消耗的 token 數量來設定 OKRs (Objectives and Key Results) 時,他們就創造了一種扭曲的激勵結構。

「這些公司有一些荒謬的 OKRs 與目標,就是為了盡可能多地消耗 token。事實證明,當你將 token 使用量轉化為指標時,不出所料地,最終會變得極其昂貴。」

這種趨勢代表了從效率與生產力最大化轉向了其他方向。當 token 消耗成為目標時,技術就會被用於瑣碎的任務——例如「美化」Slack 訊息或電子郵件——這些任務並不會為產品或程式碼庫增加實質價值。這種「像把錢丟進熔爐一樣燒 token」的做法,掩蓋了實際的生產力增益,並讓技術看起來昂貴得令人望而卻步。

策略性「Dogfooding」與成本削減

除了財務指標之外,Microsoft 的舉動還包含一個策略層面。關於 Microsoft 已開始取消 Claude Code 直接授權的報告,被一些人解讀為並非成本節約措施,而是強制轉向「dogfooding」自家產品的必要轉變。

在公司致力於改進 GitHub Copilot 的過程中,其自身的工程師必須使用該工具。如果內部開發者偏好競爭對手的工具(例如 Claude),這便釋放出內部產品品質不佳的訊號。因此,取消外部授權很可能是為了強制採用 Copilot 以識別其缺陷並進行改進,而非單純對 token 帳單的反應。

通往永續 AI 整合的道路

為了擺脫目前的成本危機,產業必須將焦點從原始使用量轉向有紀律的整合。目前已確定了幾條前進路徑:

1. 模型規模適中化 (Right-Sizing the Model)

並非所有任務都需要最先進的 (SOTA) 專有模型。將最昂貴的模型(例如 Claude Opus)用於簡單任務是一種資源的浪費。轉向使用更小、更高效的模型或本地部署(例如 DeepSeek),可以大幅降低開銷。

2. 重新定義生產力指標

公司必須停止將 token 數量作為 KPI。相反地,他們需要開發衡量「具生產力」的 AI 參與度指標——衡量 AI 是否減少了功能發佈的時間或提高了程式碼品質,而非僅僅是發送了多少次 prompt。

3. 硬體演進

長期解決方案可能在於硬體。隨著硬體加速的 LLMs 承諾提供顯著更高的每秒 token 數 (TPS),這顯示推理成本最終將會大幅下降,使目前的「昂貴」階段成為早期採用曲線中的暫時性瓶頸。

結論

Microsoft 目前的摩擦點是一個關於未經管理的 AI 採用所帶來的風險案例研究。當在缺乏紀律的情況下釋放 AI 時,它會變成一個成本中心;當帶著計畫進行整合時,它會成為一個力量倍增器。下一個 AI 實作時代的挑戰不在於 token 的成本,並不在於管理它們的人類的紀律,而在於管理它們的人類的紀律。

Sources