allenai/Olmo-core

解决的问题

Olmo-core 为大型语言模型 (LLMs)，特别是 OLMo 系列模型，提供了必要的构建模块。它简化了从零开始训练、持续训练 (退火) 以及在这些模型上执行推理的流程。

运作方式

该函数库提供了一套核心建模组件与官方训练脚本。用户可以使用 torchrun 或 Beaker launch CLI 来启动训练或退火脚本。在推理方面，本项目整合了 Hugging Face Transformers 与 vLLM 以实现高吞吐量生成，同时也在函数库内直接提供测试版自回归生成功能。

目标对象

专为希望训练、微调或部署 OLMo 模型的人工智能研究人员与开发者设计，也适合寻求标准化方式来实现 LLM 训练流水线的使用者。

特色亮点

• 官方训练脚本：包含适用于 OLMo-2 与 OLMo-3 模型系列 (7B 与 32B 参数) 的现成脚本。
• 广泛的推理支持：兼容于 Hugging Face Transformers、vLLM 以及原生的 Olmo-core 生成。
• 进阶训练优化：支持如 FlashAttention、TransformerEngine、Liger-Kernel (用于内存效率) 以及 torchao (用于 float8 训练) 等选用依赖项。
• MoE 支持：整合了 grouped_gemm 以支持无丢弃 (dropless) 的混合专家模型。