Fireworks AI Ember-1 發布

Ember-1 在不犧牲推理品質的前提下減少了 Token 開銷

Fireworks Research 發布了 Ember-1,這是一款專門設計的模型,旨在提供與 Kimi K3 相當的品質,同時減少 35% 到 50% 的 Token 使用量。該模型專門針對代理工作負載(agentic workloads)和自動化編碼進行了優化,在這些場景中,冗長的推理過程通常會增加成本和延遲,尤其是在上下文呈二次方增長的多輪互動中。

Ember-1 的開發旨在解決推理模型中「過度思考」的問題。雖然像 Kimi K3 這樣的模型通常將超過 90% 的生成 Token 用於內部推理,但 Fireworks Research 發現其中許多推理是冗餘的。透過訓練模型使其更有效率——在保留關鍵的自我反思和錯誤恢復能力的同時消除無效循環——Ember-1 以顯著較小的 Token 足跡實現了相當的準確性。

訓練方法與基礎設施

Ember-1 是使用 Fireworks Serverless Training 構建的,這使研究團隊能夠快速迭代,而無需管理 GPU 配置。開發過程涉及超過 50 次訓練實驗和 200 次評估。

為了確保 Token 的節省能夠轉化為多樣化的工作負載,該模型在廣泛的任務集合上進行了訓練,包括:

  • 數學與編碼
  • 指令遵循與對話
  • 搜尋與工具使用
  • 軟體工程(包括獨立問題與擴展互動)

訓練重點在於策略內(on-policy)規劃以及由任務回饋引導的學習,以確保模型能夠適應觀察結果和產出,而不會退化為過度的推理。

效能基準與帕累托前沿

Fireworks 使用 Specialized Intelligence Index (SII) 和多個行業基準測試評估了 Ember-1。結果顯示,Ember-1 在多個類別中建立了新的帕累托前沿(Pareto frontier)——即成本與效能之間的最佳平衡點:

Bedside Bench(臨床案例)

在 Doximity 的 Bedside Bench(由 500 個經醫師驗證的臨床案例組成)上,Ember-1 在單項任務成本方面優於包括 GPT-5.6 Sol、GPT-6 Astra 和 Claude Opus 5 在內的其他模型。

行業編碼基準測試

Ember-1 在各種推理努力設置(低、高、最大)下表現出優於 Kimi K3 的效能。在多種情況下,Ember-1 實際上在降低成本的同時提高了通過率:

基準測試 K3 Max 通過率 Ember-1 通過率 Token/成本減少量 (對比 K3 Max)
Terminal Bench 2.1 77.6% 80.9% -51.9% tokens / -$23.1 USD
SWE-bench Verified 86.0% 93.2% -15.5% tokens / -$68.1 USD
SWE-Interact 13.3% 21.3% -32.5% tokens / -$60.8 USD
DeepSWE 1.1 62.8% 66.4% -23.7% tokens / -$126.9 USD
τ-2 Bench Airline 64% 66% -5.9% tokens / -$0.3 USD

現實世界的驗證與生產影響

客戶 A/B 測試

在與兩家客戶進行的編碼工作負載即時生產測試中,Ember-1 在保持相當品質的同時,將每個任務的 Token 使用量減少了約 35%。這使得任務完成度和成功率等下游指標得到改善或保持穩定。

內部開發者測試

Fireworks 在內部部署了 Ember-1,用於其開發人員的日常編碼任務。該公司報告稱,此次部署是「無感」的,這意味著儘管消耗的 Token 顯著減少,但開發人員並未察覺到品質下降。

社群與開發者回饋

公告發布後,開發者社群針對模型的定位和可訪問性提出了幾點看法:

  • 定價疑慮: 一些用戶指出,雖然該模型使用的 Token 較少,但每個 Token 的價格可能高於基礎的 Kimi K3 模型,這可能會抵消部分用戶的總成本節省。
  • 權重可訪問性: 關於模型「開放」性質的討論,因為 Ember-1 基於開放權重,但最終調整後的模型並未作為開放權重發布。
  • 預填充(Prefill)與解碼(Decode): 一些技術評論家指出,在代理編碼中,很大一部分成本通常在預填充(輸入)而非解碼(輸出)中,而這正是 Ember-1 的 Token 減少最有效的地方。

"運行 K3 最具成本效益的方式不再是讓它少思考,而是運行 Ember-1,這個學會了高效思考的模型。" — @handle

Ember-1 目前作為研究預覽版在 Fireworks Serverless 上提供。

Sources

相關