コンテキスト言語モデル（CLMs）

概要 – コンテキストを可変ファイルとして扱う新しいクラスの言語モデルであるコンテキスト言語モデルを実装した研究用コードベース。モデルは推論中にこのファイルを読み取り、書き込み、更新でき、保持または破棄する情報を学習します。このアプローチは、零样本、上下文学习、以及强化学习微调中均可工作。

重要性 – 传统大语言模型具有固定大小的上下文窗口；当输入超过该窗口时，必须截断或卸载信息，这通常不是最优的。CLMs 让模型动态决定保留什么，从而在一系列基准任务（例如 BrowseComp‑Plus、EdgeBench、多仓库 agent‑swarm）上实现更高准确率和更低计算量。

关键组件（如仓库中所列）

组件	用途
`clm/clm_harness`	基于 Harbor 代理框架构建的核心 CLM 实现。
`clm/clm_icl`	上下文学习代码 – 通过技能优化循环，用自然语言指令引导 CLMs。
`clm/clm_rl`	强化学习流水线，微调 CLMs（例如 Qwen3.5‑9B）以提高上下文管理任务的性能。
`clm/clm_contextbench`	与 ContextBench 的集成，这是一个衡量代理如何管理上下文溢出的基准套件。
`suffix_cache_reuse/`	通过重用后缀缓存高效服务 CLMs 的技术；包括 SGLang 和 vLLM 的适配器。

快速入门（快速开始）

# 以可编辑模式安装仓库
pip install -e .

# 在任何 Harbor 任务上运行最小 CLM 代理
clm-harbor run -p <harbor-task> -a clm-minimal -m openai/<model> \
  --agent-kwarg api_base=http://localhost:8000/v1

clm-harbor 是 Harbor 命令行界面，内置 CLM 代理（-a clm-minimal）。
将 <harbor-task> 替换为 Harbor 基准的名称（例如 browsecomp_plus）。
将 <model> 替换为您要包装的底层大语言模型的标识符（例如 gpt-4o）。

示例：在 ContextBench 上运行

harbor jobs start --repo RulinShao/ContextBench -d contextbench \
  -a clm_contextbench:ClmStream -m openai/<model> \
  --agent-kwarg api_base=http://localhost:8000/v1

此单条命令在 ContextBench 套件中的每个任务上评估 CLM。

社区集成

Pi – 安装支持 CLM 的 Pi 代理版本：pi install npm:@lolipopshock/pi-clm。
OpenCode – 社区维护的插件（opencode-clm）让 OpenCode 用户运行 CLMs。

何时使用 CLMs

长时间运行的代理，需要在多次交互中记住和更新信息（例如自主网页浏览、多仓库代码助手）。
计算受限环境，在保持性能的同时减少 FLOPs 至关重要。
研究上下文管理策略、上下文学习或基于 RL 的大语言模型微调。

引用

如果您在出版物中使用代码或想法，请引用随附的 arXiv 论文：

@article{shao2026context,
  title   = {Context Language Models},
  author  = {Shao, Rulin and Shen, Shannon Zejiang and Yin, Junjie Oscar and Li, Yuetai and Wang, Minheng and Ivison, Hamish and Poovendran, Radha and Lambert, Nathan and Xiao, Teng and Lewis, Mike and Yih, Wen-tau and Zettlemoyer, Luke and Koh, Pang Wei},
  journal = {arXiv preprint arXiv:2609.37725},
  year    = {2026}
}

许可证

该项目根据 CC BY‑NC 4.0（非商业知识共享）发布。详情请参阅 LICENSE 和 NOTICE。

facebookresearch/context-language-models