facebookresearch/cwm

What it solves

Code World Model (CWM) は、AIモデルがコードを生成し、それについて推論する能力を向上させるために設計されています。具体的には、特定のコード変更やシステムコマンドがプログラムやコンピュータシステムの状態にどのように実際に影響を与えるかという理解のギャップを埋めることで、より正確なソフトウェアエンジニアリングタスクを実現します。

How it works

CWM は、320億パラメータの LLM であり、以下の専門的なアプローチを用いて訓練されています：

• Mid-training: このモデルは、Python の実行トレースとコンテナ化された環境内でのエージェントの相互作用による、大量の観察-アクション・トラジェクトリを使用して訓練されています。

• Post-training: 検証可能なコーディング、数学、およびマルチターン・ソフトウェアエンジニアリングに焦点を当てた環境において、広範なマルチタスク強化学習 (RL) が行われました。

Who it’s for

コード生成、ニューラルデバッグ、およびエージェント型ソフトウェアエンジニアリングの最先端技術を推進したい研究者や開発者です。

Highlights

• Open Weights: プリトレーニング、SFT、および指示チューニングされたバージョンのモデルを提供します。

• World Model Capabilities: プログラムやシステムの状態について推論するように訓練されています。

• Neural Debugging: モデルがニューラルデバッガーとして機能する能力を示すデモが含まれています。

• Benchmark Performance: SWE-bench Verified, LiveCodeBench, AIME, および MATH に最適化されています。