zai-org/GLM-4

解決的問題

GLM-4-0414 是一系列開源大語言模型，旨在提供對話、推理和複雜任務執行方面的高性能能力。它旨在縮小開源模型與 GPT-4o 等專有系統之間的差距，特別是在工程代碼、函數調用和研究型寫作等領域。

工作原理

該系列採用了不同的模型規模（9B 和 32B）和專門的訓練路徑：

• GLM-4-32B-0414：在 15T 高質量數據上進行預訓練，並通過人類偏好對齊、拒絕採樣和強化學習進行精調，以增強指令遵循和智能體能力。
• GLM-Z1 (Reasoning)：通過專注於數學、代碼和邏輯的冷啟動和擴展強化學習開發，實現「深度思考」。
• GLM-Z1-Rumination：通過端到端強化學習擴展訓練的專用推理模型，能夠進行更長時間的思考過程，並使用搜索工具解決開放式複雜問題。
• YaRN：一種用於處理超過原生 32K 上下文長度的輸入的上下文擴展技術。

適用對象

• 正在尋找用於本地部署的高性能開源模型的開發者。
• 需要具備強大數學和邏輯推理能力的模型的 AI 研究人員。
• 需要能夠生成工程級代碼並執行智能體任務函數調用的軟體工程師。
• 可以利用輕量級 9B 模型的資源受限環境下的用戶。

亮點

• 多樣化的模型範圍：提供 9B 和 32B 參數規模的 Base、Chat、Reasoning 和 Rumination 變體。
• 強大的智能體能力：在函數調用、Artifact 生成和基於搜索的問答方面表現出色。
• 深度推理：Z1 系列為複雜的數學和邏輯任務提供高級能力。
• 廣泛的集成：已在 vLLM、transformers 和 llama.cpp 中正式實現。