GLM-5: 適用於長程代理工程與複雜系統任務的旗艦級 LLM 系列
GLM-5: 適用於長程代理工程與複雜系統任務的旗艦級 LLM 系列
它解決了什麼問題
GLM-5 是一系列專為複雜系統工程與長程代理任務設計的旗艦級大型語言模型。它解決了先前模型在給予更多時間或迭代次數時性能會進入平台期的限制,轉而能在數百輪工具調用與數千次迭代中持續保持生產力,以解決模糊的問題。
運作原理
該系列透過三個版本進行演進:
- GLM-5: 擴展至 744B 參數(40B 活躍參數)並使用 DeepSeek Sparse Attention (DSA) 來降低部署成本。它使用一種稱為 "slime" 的新型非同步 RL 基礎設施進行訓練,以提高訓練吞吐量。
- GLM-5.1: 專注於代理工程與程式碼編寫,提升了模型分解複雜問題、執行實驗並透過重複迭代來修正策略的能力。
- GLM-5.2: 引入了穩定的 1M-token 上下文窗口,以及一種稱為 IndexShare 的新架構,該架構在稀疏注意力層之間重複使用相同的索引器,從而在長上下文長度下將每個 token 的 FLOPs 降低 2.9 倍。它還具備改進後的 MTP 層以進行投機解碼(speculative decoding)。
對象是誰
此專案適用於從事自主代理、複雜軟體工程任務以及需要處理海量上下文(高達 1M tokens)之應用程式的開發者與研究人員。
重點亮點
- 長程能力: 特別針對需要長期規劃與資源管理的任務進行了優化。
- 1M Token 上下文: GLM-5.2 為長程工作提供了穩定且龐大的上下文窗口。
- 靈活的思考強度: 支援
reasoning_effort參數(max或high)來平衡性能與延遲。 - 高效能程式碼編寫: 在 Terminal-Bench 與 SWE-bench Pro 等程式碼基準測試中表現優於許多開源模型。
Sources
- undefinedzai-org/GLM-5