OpenMOSS/MOSS

解決的問題

MOSS 是一個開源的雙語（中文-英文）對話語言模型，旨在提供一個能流暢進行雙語（中文與英文）溝通並使用工具的、有幫助、誠實且無害的 AI 助手。它解決了對高品質、開源權重模型的需求，這些模型能遵循複雜指令，並與外部工具互動，以提供更準確、更真實的回應。

如何運作

基於 160 億參數架構，moss-moon 系列在約 7000 億個中文、英文和程式碼標記上進行預訓練。該模型經過多階段訓練流程：自監督預訓練、在超過 110 萬輪對話資料上的監督微調（SFT），以及偏好訓練以提升穩定性、安全性與事實性。針對工具使用，特定的插件增強版本在 30 萬輪插件增強對話資料上進行訓練，使模型能在產生最終回應前，生成內部思考與特定命令來呼叫外部 API（如搜尋引擎、計算機、方程式求解器）。

適用對象

適用於希望在本地部署雙語大模型或針對特定任務進行微調的開發者與研究人員。適用於從單張 A100/A800 GPU 到消費級 NVIDIA 3090（尤其是使用 INT4/INT8 量化版本時）的各類硬體環境。

主要亮點

• 雙語能力：在中文與英文中均能流暢交流。
• 工具整合：原生支援插件，包括網頁搜尋、計算機、方程式求解器與文字生成圖像。
• uma 量化：提供 FP16、INT8 與 INT4 精度版本，降低本地部署的硬體門檻。
• 開放生態：不僅提供模型，還提供訓練所用的 SFT 與偏好資料集。