Fireworks AI Ember-1 發布
Ember-1 在不犧牲推理品質的前提下減少了 Token 開銷
Fireworks Research 發布了 Ember-1,這是一款專門設計的模型,旨在提供與 Kimi K3 相當的品質,同時減少 35% 到 50% 的 Token 使用量。該模型專門針對代理工作負載(agentic workloads)和自動化編碼進行了優化,在這些場景中,冗長的推理過程通常會增加成本和延遲,尤其是在上下文呈二次方增長的多輪互動中。
Ember-1 的開發旨在解決推理模型中「過度思考」的問題。雖然像 Kimi K3 這樣的模型通常將超過 90% 的生成 Token 用於內部推理,但 Fireworks Research 發現其中許多推理是冗餘的。透過訓練模型使其更有效率——在保留關鍵的自我反思和錯誤恢復能力的同時消除無效循環——Ember-1 以顯著較小的 Token 足跡實現了相當的準確性。
訓練方法與基礎設施
Ember-1 是使用 Fireworks Serverless Training 構建的,這使研究團隊能夠快速迭代,而無需管理 GPU 配置。開發過程涉及超過 50 次訓練實驗和 200 次評估。
為了確保 Token 的節省能夠轉化為多樣化的工作負載,該模型在廣泛的任務集合上進行了訓練,包括:
- 數學與編碼
- 指令遵循與對話
- 搜尋與工具使用
- 軟體工程(包括獨立問題與擴展互動)
訓練重點在於策略內(on-policy)規劃以及由任務回饋引導的學習,以確保模型能夠適應觀察結果和產出,而不會退化為過度的推理。
效能基準與帕累托前沿
Fireworks 使用 Specialized Intelligence Index (SII) 和多個行業基準測試評估了 Ember-1。結果顯示,Ember-1 在多個類別中建立了新的帕累托前沿(Pareto frontier)——即成本與效能之間的最佳平衡點:
Bedside Bench(臨床案例)
在 Doximity 的 Bedside Bench(由 500 個經醫師驗證的臨床案例組成)上,Ember-1 在單項任務成本方面優於包括 GPT-5.6 Sol、GPT-6 Astra 和 Claude Opus 5 在內的其他模型。
行業編碼基準測試
Ember-1 在各種推理努力設置(低、高、最大)下表現出優於 Kimi K3 的效能。在多種情況下,Ember-1 實際上在降低成本的同時提高了通過率:
| 基準測試 | K3 Max 通過率 | Ember-1 通過率 | Token/成本減少量 (對比 K3 Max) |
|---|---|---|---|
| Terminal Bench 2.1 | 77.6% | 80.9% | -51.9% tokens / -$23.1 USD |
| SWE-bench Verified | 86.0% | 93.2% | -15.5% tokens / -$68.1 USD |
| SWE-Interact | 13.3% | 21.3% | -32.5% tokens / -$60.8 USD |
| DeepSWE 1.1 | 62.8% | 66.4% | -23.7% tokens / -$126.9 USD |
| τ-2 Bench Airline | 64% | 66% | -5.9% tokens / -$0.3 USD |
現實世界的驗證與生產影響
客戶 A/B 測試
在與兩家客戶進行的編碼工作負載即時生產測試中,Ember-1 在保持相當品質的同時,將每個任務的 Token 使用量減少了約 35%。這使得任務完成度和成功率等下游指標得到改善或保持穩定。
內部開發者測試
Fireworks 在內部部署了 Ember-1,用於其開發人員的日常編碼任務。該公司報告稱,此次部署是「無感」的,這意味著儘管消耗的 Token 顯著減少,但開發人員並未察覺到品質下降。
社群與開發者回饋
公告發布後,開發者社群針對模型的定位和可訪問性提出了幾點看法:
- 定價疑慮: 一些用戶指出,雖然該模型使用的 Token 較少,但每個 Token 的價格可能高於基礎的 Kimi K3 模型,這可能會抵消部分用戶的總成本節省。
- 權重可訪問性: 關於模型「開放」性質的討論,因為 Ember-1 基於開放權重,但最終調整後的模型並未作為開放權重發布。
- 預填充(Prefill)與解碼(Decode): 一些技術評論家指出,在代理編碼中,很大一部分成本通常在預填充(輸入)而非解碼(輸出)中,而這正是 Ember-1 的 Token 減少最有效的地方。
"運行 K3 最具成本效益的方式不再是讓它少思考,而是運行 Ember-1,這個學會了高效思考的模型。" — @handle
Ember-1 目前作為研究預覽版在 Fireworks Serverless 上提供。
Sources
- HNEmber-1
相關
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch