facebookresearch/cwm

What it solves

Code World Model (CWM)은 AI 모델이 코드를 생성하고 이에 대해 추론하는 방식을 개선하기하도록 설계되었습니다. 구체적으로, 특정 코드 변경이나 시스템 명령어가 프로그램 또는 컴퓨터 시스템의 상태에 어떻게 실제로 영향을 미치는지에 대한 이해의 격차를 해결하여, 더 정확한 소프트웨어 엔지니어링 작업을 수행할 수 있게 합니다.

How it works

CWM은 320억 파라미터 LLM으로, 다음과 같은 전문적인 접근 방식을 사용하여 훈련되었습니다:

• Mid-training: 이 모델은 Python 실행 트레이스와 컨테이너화된 환경 내의 에이전트 상호작용으로부터 얻은 대량의 관찰-동작 트레이스(observation-action trajectories)를 사용하여 훈련되었습니다.

• Post-training: 검증 가능한 코딩, 수학 및 멀티턴 소프트웨어 엔지니어링에 초점을 맞춘 환경에서 광범위한 멀티태스크 강화 학습(RL)을 수행했습니다.

Who it’s for

코드 생성, 뉴럴 디버깅 및 에이전트 소프트웨어 엔지니어링의 최첨단 기술을 발전시키고자 하는 연구자 및 개발자.

Highlights

• Open Weights: 사전 훈련된, SFT 및 지시 미세 조정된 버전의 모델을 제공합니다.

• World Model Capabilities: 프로그램 또는 시스템의 상태를 추론하도록 훈련되었습니다.

• Neural Debugging: 모델이 뉴럴 디버거로 작동할 수 있는 능력을 보여주는 데모를 포함합니다.

• Benchmark Performance: SWE-bench Verified, LiveCodeBench, AIME, 및 MATH와 같은 주요 벤치마크 성능을 최적화했습니다.