便宜到無法計量的代幣——為何 AI 運算成本急遽下降
代幣成本下降速度超越以往任何趨勢
過去 12 個月，完成一項 AI 任務的價格下降了約 2.5 個數量級，這得益於硬體效率、模型架構和推論引擎的同步提升。這使得代幣成本如此之低，以致於呼叫外部工具（例如 grep、HTML 解析或 cargo build）的開銷很快就會主導工作流程的總成本。
硬體效率的提升
GPU 每兩年效率翻倍
GPU 能源效率（GFLOP/J）的對數圖顯示 1.3 對數斜率，意味著效率大約每兩年翻倍——與摩爾定律的歷史步伐相當。從早期的消費級 GPU 到最新的資料中心 H100，這一趨勢在各個世代中保持一致。
"這是自 1960 年代摩爾定律以來我們從未見過的效率提升。" – 文章作者
推論引擎每年提升 10–50%
開源引擎如 vLLM 在 0.5.4 版（2024 年 9 月）至 0.11.1 版（2025 年 12 月）之間，實現了 約 40% 的焦耳/代幣減少。NVIDIA 的全棧 MLPerf 堆疊報告從 2.0 版到 2.1 版提升了高達 50% 的效率，而 Intel 的 MLPerf 6.1 相較於 6.0 顯示 2.4 倍的吞吐量提升。
模型層級的成本降低
每任務成本下降，而每代幣價格停滯
前沿模型仍收取相似的每代幣費率，但較大的模型以更少的代幣完成任務。帕累托前沿（品質 vs. 成本，2025–2026）顯示，今天運行相同的基準測試比一年前便宜 100 倍。
混合專家（MoE）減少運算
MoE 架構在不需要時停用專家層，在等效基準效能下，參數量減少高達 7 倍。儘管本地部署仍需要所有專家在記憶體中，整體的 每焦耳品質 大幅提升。
專業模型加速此趨勢
Jev 和 Laya 實現「免費」輸出代幣
TypeSafe 的 Jev 分類器對輸入代幣收取 $0.042 / MTok，輸出則為 $0——約 每十億代幣 $42，大約是閱讀五本書的幾美分成本。開放權重的 Laya 在微調後達到或超過 Jev 的準確度，但需要更多設定。
"我們無法證明這不是補貼；我們需要長期來證明我們定價的可持續性（我們預期價格會下降，而非上升）。" – TypeSafe 定價說明
當代幣比工具呼叫更便宜時
使用 GPT-5.6 Luna（$0.30 / M 代幣）和典型 MacBook Air（閒置 10 W，重度使用 30 W）的粗略計算顯示：
| 工具 | 功率（W） | 持續時間（秒） | 成本（美分） | 比 Luna 回合便宜的數量級 |
|---|---|---|---|---|
grep |
10 | 0.1 | 0.000007 | 4.5 |
| HTML 解析 | 10 | 1 | 0.00007 | 3.5 |
cargo build |
30 | 30 | 0.00625 | 1.5 |
以目前的費率，LLM 呼叫很快就會比簡單的 grep 更便宜，這使得將模型嵌入傳統工具管線在經濟上具有吸引力。
經濟反作用力
供給側的傑文斯悖論
更高的效率推動了誘發需求：AI 提供者投資更多運算，因為每花一美元能帶來更高的收入。這反映了經典的傑文斯悖論，即更便宜的電力促成了更大的整體消費。
商業模式的可持續性
批評者指出，僅靠便宜代幣並不能保證盈利能力。提供者仍依賴前沿模型的溢價定價、企業合約和基於量的服務。開放權重的競爭可能壓縮利潤，但硬體供應商（例如 NVIDIA）和專業推論服務將繼續從規模中獲利。
未來情境
- 無所不在的本地推論 – 在 3–6 年內，由於記憶體高效架構（Mamba、量化至 4 位元）和 MoE 擴展，前沿品質模型預計能在消費級硬體上運行。
- AI 增強的工具 – 隨著代幣成本降至工具呼叫成本以下，開發者將用模型驅動的助手（例如
jgrep）取代臨時腳本。建置排程器、安全掃描器和 CI 管線可能成為 AI 優先。 - 軟體價值的轉變 – 主要差異化因素將從原始功能轉向品質、安全性和整合。具有高轉換成本的傳統 SaaS 產品將保持優勢，而可塑性強的 AI 生成軟體將在利基領域擴散。
社群反應
"代幣變得比工具呼叫更便宜……我認為這是引用斯坦定律的好時機：『如果某件事不能永遠持續下去，它就會停止。』" – @jetrink
"帕累托圖沒有價值判斷就毫無意義；『最具吸引力的象限』誤導讀者。" – @meatmanek
"能源效率圖可以擬合許多趨勢線；GPU 每兩年翻倍的說法需要更嚴謹的統計支持。" – @empw
"如果推論繼續商品化，硬體利潤將縮水，利潤將轉向服務和專用晶片。" – @bryanlarsen
這些評論凸顯了對永續指數趨勢的懷疑、對基準視覺化需謹慎解讀的需求，以及對長期商業可持續性的擔憂。
要點
硬體效率、模型架構進步和軟體引擎最佳化的匯聚，在一年內將 AI 代幣成本降低了超過兩個數量級。這使得代幣的成本比許多傳統運算原語更便宜，預示著 AI 直接嵌入軟體工具和基礎設施的未來。
Sources
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch