使用 GLM 5.3 Flash 编码一个月:成本、障碍与经验教训

TL;DR – 实验证明了什么

  • 结果: 9 月份 20 亿 token 中只有一半由 GLM 5.3 Flash 处理;另一半则由备用模型处理。
  • 成本与碳排放: GLM 5.3 Flash 部分花费 68 美元,消耗 约 4 kWh(约 365 克 CO₂),而备用工作负载在单晚内增加了 150 美元、5 kWh 和 4.5 亿 token。
  • 要点: 在构建基于 flash 级开源模型的智能体编码流水线时,模型选择、实时使用监控以及实验预算规划至关重要。

为什么这个实验很重要

Wagtail 工程团队设定了一个具体目标:在整个月(2026 年 9 月)内仅使用开源权重模型 GLM 5.3 Flash 进行编码。该模型宣称的优势——100 万 token 上下文、视觉支持以及广泛的提供商可用性——使其成为专有前沿模型的一种有前途的低成本替代方案。测量 token 数量、货币支出和能源使用,为智能体编码工作流的真实运营成本提供了一个罕见的、数据驱动的视角。


进展顺利之处 – GLM 5.3 Flash 的表现

  • 高上下文窗口: 100 万 token 的窗口使团队能够处理扩展的编码任务,而无需切分提示词。
  • 视觉能力: 截图可以直接输入模型,从而实现与 UI 相关的修复。
  • 提供商多样性: 在多个推理提供商处的可用性使团队能够利用定价优势并避免供应商锁定。
  • 实际产出: 该模型支持了 UI 工作、文档生成以及各种评估脚本,证明了其在日常开发中的多功能性。

"GLM 5.3 Flash 本身非常出色!……100 万上下文窗口,视觉支持,在广泛的提供商中可用……确实非常通用。" – Wagtail 博客


意外的障碍及其影响

1. “氛围编码”原型的成本

  • 实验性的 Wagtail MCP server 为原型使用了错误的模型,在单晚内消耗了 4.5 亿 token,花费 150 美元,并使用了 5 kWh。
  • 团队估计,更谨慎的模型选择本可以以极少的额外工程投入将该费用降低 约 5 倍。
  • 教训: 如果模型选择不严谨,即使是短期的原型也可能占据一个月的预算。

"我们本可以用少得多的努力,以可能低 5 倍的成本实现类似的结果。吸取教训!" – Wagtail 博客

2. 基础设施容量限制

  • 流行的推理提供商难以跟上需求,导致 GLM 5.3 Flash 的 性能下降。
  • 团队被迫回退到 DeepSeek V4.1 Flash 和 Qwen 3.8 Flash,它们虽然兼容,但引入了额外的集成开销。
  • 教训: Flash 级模型处于成本与能力的 帕累托前沿,这使它们具有吸引力,但也容易出现容量瓶颈。

"我们的选择在大多数时候有效,但它们非常受欢迎,并且没有像囤积所有 GPU 的大实验室那样的容量。" – Wagtail 博客

3. 实验开销

  • 对 14 个模型在 Wagtail 特定任务上的基准测试显示,准确性、能源使用和成本存在 巨大差异(例如,DeepSeek V4.1 Flash 以每个任务 14.9 Wh 和 0.09 美元 的成本实现了 95% 的准确率)。
  • 维护广泛的模型组合对于保持在提供商发布的前沿是必要的,但这增加了运营复杂性。
  • 教训: 系统化的基准测试数据对于引导开发人员找到特定任务最高效的模型至关重要。

来自 Hacker News 的社区见解

  • 能源效率的惊喜: 一位评论者指出,4 kWh 仅占货币成本的 1%,强调了与典型的 AI 数据中心叙事相比,报告的能源足迹是多么低。
  • 指标批评: 另一位用户认为 每 token 成本 图表具有误导性;模型之间的速度和 token 效率差异巨大,建议使用 每任务时间 和 每任务成本 等替代指标。
  • 模型选择困惑: 几位读者要求提供原型更好模型选择的具体示例,突显了对更清晰决策框架的需求。
  • 积极的现实报告: 用户报告了 GLM 5.3 Flash 在小错误修复和作为默认编码助手方面的个人成功,证实了其实际效用。
  • 对报告数字的怀疑: 一条详细的评论质疑了能源数据的有效性,指出了提供商报告指标中潜在的利润率填充。

2026 年 9 月使用情况的定量快照

指标 GLM 5.3 Flash 备用模型 总计
处理的 token 10 亿 10 亿 20 亿
货币支出 68 美元 150 美元 218 美元
能源消耗 约 4 kWh 约 5 kWh 约 9 kWh
CO₂ 排放 约 365 克 约 ? 约 365 克+

50% 的 token 份额 和 约 35 kWh 的总能源使用(而不是目标的 10 kWh)说明了理想计划与运营现实之间的差距。


对未来为期一个月挑战的可行建议

  1. 持续的本地测量 – 实时跟踪每次请求的 token、美元和千瓦时;当任何指标超过预定义阈值时发出警报。
  2. 专门的实验预算 – 为原型运行分配单独的资金,以避免污染日常成本报告。
  3. 提示工程和智能体编排 – 使用具有明确目标的独立 规划者、执行者 和 审查者 智能体,以减少不必要的 token 浪费。
  4. 优先考虑 flash 级高效模型 – 目标是让大部分推理工作在低成本、低能耗的模型上运行;将前沿模型保留给真正需要更高能力的任务。
  5. 维护基准测试套件 – 定期评估新的开源权重发布(例如 Jev 风格的扩散模型)在 Wagtail 特定任务上的表现,以保持模型列表的最优性。

最终评估

为期一个月的 GLM 5.3 Flash 挑战 没有达到其 100% 的 token 目标,但它提供了宝贵的运营见解:

  • 预算规划 和 实时监控 对于智能体流水线是不可协商的。
  • 提供商容量 可能成为流行 flash 模型的隐藏成本因素。
  • 系统化基准测试 使团队能够为每个任务选择最具成本效益的模型。

Wagtail 计划在 10 月重复该实验,进行更严格的监控,并更专注于 flash 级模型,旨在保持 能源使用低于 10 kWh 且 支出低于 100 美元,同时保持生产力。


加入 11 月的 Wagtail Space 2026 对话,了解下一次迭代的结果。

Sources

相关