컨텍스트 언어 모델(CLMs)

이것은 무엇인가 – 컨텍스트 언어 모델을 구현하는 연구 코드베이스로, 컨텍스트를 가변 파일로 취급하는 새로운 종류의 언어 모델입니다. 모델은 추론 중에 이 파일을 읽고, 쓰고, 업데이트할 수 있으며, 어떤 정보를 유지하거나 버릴지 학습합니다. 이 접근 방식은 제로샷, 컨텍스트 내 학습, 강화 학습 미세 조정과 함께 작동합니다.

왜 중요한가 – 기존 대형 언어 모델은 고정 크기의 컨텍스트 창을 가지고 있습니다. 입력이 해당 창을 초과하면 정보를 잘라내거나 오프로드해야 하며, 이는 종종 최적이 아닙니다. CLMs 让模型动态决定保留什么，从而在一系列基准任务（例如 BrowseComp‑Plus、EdgeBench、多仓库 agent‑swarm）上实现更高准确率和更低计算量。

---

关键组件（如仓库中所列）

组件	用途
clm/clm_harness	基于 Harbor 代理框架构建的核心 CLM 实现。
clm/clm_icl	上下文学习代码 – 通过技能优化循环，用自然语言指令引导 CLMs。
clm/clm_rl	强化学习流水线，微调 CLMs（例如 Qwen3.5‑9B）以提高上下文管理任务的性能。
clm/clm_contextbench	与 ContextBench 的集成，这是一个衡量代理如何管理上下文溢出的基准套件。
suffix_cache_reuse/	通过重用后缀缓存高效服务 CLMs 的技术；包括 SGLang 和 vLLM 的适配器。

快速入门（快速开始）

# 以可编辑模式安装仓库
pip install -e .

# 在任何 Harbor 任务上运行最小 CLM 代理
clm-harbor run -p <harbor-task> -a clm-minimal -m openai/<model> \
  --agent-kwarg api_base=http://localhost:8000/v1

• clm-harbor 是 Harbor 命令行界面，内置 CLM 代理（-a clm-minimal）。
• 将 <harbor-task> 替换为 Harbor 基准的名称（例如 browsecomp_plus）。
• 将 <model> 替换为您要包装的底层大语言模型的标识符（例如 gpt-4o）。

示例：在 ContextBench 上运行

harbor jobs start --repo RulinShao/ContextBench -d contextbench \
  -a clm_contextbench:ClmStream -m openai/<model> \
  --agent-kwarg api_base=http://localhost:8000/v1

此单条命令在 ContextBench 套件中的每个任务上评估 CLM。

社区集成

• Pi – 安装支持 CLM 的 Pi 代理版本：pi install npm:@lolipopshock/pi-clm。
• OpenCode – 社区维护的插件（opencode-clm）让 OpenCode 用户运行 CLMs。

何时使用 CLMs

• 长时间运行的代理，需要在多次交互中记住和更新信息（例如自主网页浏览、多仓库代码助手）。
• 计算受限环境，在保持性能的同时减少 FLOPs 至关重要。
• 研究上下文管理策略、上下文学习或基于 RL 的大语言模型微调。

引用

如果您在出版物中使用代码或想法，请引用随附的 arXiv 论文：

@article{shao2026context,
  title   = {Context Language Models},
  author  = {Shao, Rulin and Shen, Shannon Zejiang and Yin, Junjie Oscar and Li, Yuetai and Wang, Minheng and Ivison, Hamish and Poovendran, Radha and Lambert, Nathan and Xiao, Teng and Lewis, Mike and Yih, Wen-tau and Zettlemoyer, Luke and Koh, Pang Wei},
  journal = {arXiv preprint arXiv:2609.37725},
  year    = {2026}
}

---

许可证

该项目根据 CC BY‑NC 4.0（非商业知识共享）发布。详情请参阅 LICENSE 和 NOTICE。