facebookresearch/cwm

What it solves

Code World Model (CWM) 旨在改進 AI 模型生成程式碼及其推理能力。具體而言，它解決了在理解特定程式碼變更或系統指令如何實際影響程式或電腦系統狀態方面的差距，從而實現更準確的軟體工程任務。

How it works

CWM 是一個擁有 320 億參數的 LLM，採用了專門的方法進行訓練：

• Mid-training: 該模型是在大量來自 Python 執行軌跡和容器化環境中代理人互動的觀察-動作軌跡上進行訓練的。

• Post-training: 它在專注於可驗證程式碼、數學和多輪軟體工程的環境中，進行了廣泛的多任務強化學習 (RL)。

Who it’s for

研究人員和開發人員，希望在程式碼生成、神經網路偵錯和代理人軟體工程領域取得進一步的突破。

Highlights

• Open Weights: 提供模型的預訓練、SFT 和指令微調版本。
• World Model Capabilities: 經過訓練，可對程式或系統的狀態進行推理。
• Neural Debugging: 包含展示模型作為神經網路偵錯器能力的示範。
• Benchmark Performance: 針對 SWE-bench Verified, LiveCodeBench, AIME, 和 MATH 等關鍵基準測試進行了優化。