facebookresearch/cwm

What it solves

Code World Model (CWM) 旨在改进 AI 模型生成代码和对其进行推理的能力。具体而言，它解决了在理解特定代码更改或系统命令如何实际影响程序或计算机系统状态方面的差距，从而实现更准确的软件工程任务。

How it works

CWM 是一个拥有 320 亿参数的 LLM，通过使用专门的方法进行训练：

• Mid-training: 该模型是在大量来自 Python 执行轨迹和容器化环境中的智能体交互的观察-动作轨迹上进行进行训练的。

• Post-training: 它在专注于可验证代码、数学和多轮软件工程的环境中，进行了广泛的多任务强化学习 (RL)。

Who it’s for

希望在代码生成、神经调试和智能体软件工程领域推进技术现状的研究人员和开发人员。

Highlights

• Open Weights: 提供模型的预训练、SFT 和指令微调版本。

• World Model Capabilities: 经过训练，能够推理程序或系统的状态。

• Neural Debugging: 包含展示模型作为神经调试器能力的演示。

• Benchmark Performance: 針對 SWE-bench Verified, LiveCodeBench, AIME, 和 MATH 等关键基准测试进行了优化。