OpenAI gpt-oss 发布说明

OpenAI 已发布 gpt-oss-120b 和 gpt-oss-20b，这两款最先进的开源权重语言模型旨在实现高性能推理和高效部署。它们在 Apache 2.0 许可证下发布，针对消费级硬件进行了优化，并使用强化学习以及源自 OpenAI 前沿系统（包括 o3）的技术进行训练。

模型能力与基准测试

gpt-oss 模型在推理、工具使用和指令遵循方面提供了强大的实际表现，尤其在 STEM、编码和通用知识方面表现突出。

性能比较

• gpt-oss-120b：在核心推理基准上几乎与 OpenAI o4-mini 持平。在竞赛编码（Codeforces）、通用问题求解（MMLU 和 HLE）以及工具调用（TauBench）方面匹配或超越 o4-mini。在竞赛数学（AIME 2024 与 2025）和健康相关查询（HealthBench）上优于 o4-mini。
• gpt-oss-20b：在相同评估上匹配或超越 OpenAI o3-mini，包括在健康和竞赛数学方面优于 o3-mini。

关键特性

• 推理力度：类似 o 系列模型，gpt-oss 支持三种推理力度（低、中、高），开发者可通过系统消息在延迟与性能之间进行权衡。
• 工具使用：模型在少样本函数调用和代理工作流方面表现出强大能力，包括 Python 代码执行和网页搜索。
• 结构化输出：两款模型均支持结构化输出，并兼容 Responses API。

技术架构

两款 gpt-oss 模型均采用 Transformer 架构并结合 Mixture-of-Experts（MoE），以在处理过程中优化活跃参数的数量。

模型	层数	总参数	每标记活跃参数	总专家数	每标记活跃专家数	上下文长度
gpt-oss-120b	36	117B	5.1B	128	4	128k
gpt-oss-20b	24	21B	3.6B	32	4	128k

架构细节

• 注意力机制：模型交替使用密集和局部带状稀疏注意力模式，并结合分组多查询注意力（组大小为 8）以提升内存效率。
• 位置编码：使用旋转位置嵌入（RoPE），支持最高 128k 标记的原生上下文长度。
• 分词器：模型使用 o200k_harmony，它是用于 GPT-4o 和 o4-mini 的分词器的超集，OpenAI 也已开源。

训练后阶段与思考链

模型经历了监督微调阶段，随后进行高计算量的强化学习（RL）阶段，以符合 OpenAI 模型规范。

非监督思考链（CoT）

OpenAI 未对任一模型的思考链（CoT）进行直接监督。此设计使研究人员能够监控模型的异常行为、欺骗和滥用。OpenAI 建议开发者不要直接向用户展示 CoT，因为其中可能包含幻觉或违反安全政策的内容。

安全与风险缓解

安全性通过多阶段训练和对抗测试被整合进 gpt-oss 发布中。

训练与对齐

• 预训练：过滤掉与化学、生物、放射和核（CBRN）风险相关的有害数据。
• 后训练：使用深思熟虑的对齐和指令层级，以防止提示注入并确保拒绝不安全的提示。

对抗性微调

为评估恶意微调的风险，OpenAI 使用专门的生物学和网络安全数据创建了不拒绝的模型版本。基于 Preparedness Framework 的测试表明，即使使用 OpenAI 的内部训练堆栈，这些恶意微调的模型也无法达到高能力水平。

红队测试

OpenAI 正在举办红队挑战赛，设有 50 万美元奖金，用于发现新型安全问题，计划基于发现发布报告和开源评估数据集。

可用性与部署

模型权重已在 Hugging Face 上提供，原生量化为 MXFP4，以最小化内存需求。

• gpt-oss-120b：在 80GB 内存内运行（例如单块 80GB GPU）。
• gpt-oss-20b：仅需 16GB 内存，适用于边缘设备和本地推理。

生态系统支持

• 软件：OpenAI 已在 Python 和 Rust 中开源了 harmony 渲染器，并提供了 PyTorch 和 Apple Metal 平台的参考实现。
• 合作伙伴：部署支持包括 Azure、Hugging Face、vLLM、Ollama、llama.cpp、LM Studio、AWS、Fireworks、Together AI、Baseten、Databricks、Vercel、Cloudflare 和 OpenRouter 等主要平台。
• 硬件：性能针对 NVIDIA、AMD、Cerebras 和 Groq 硬件进行优化。
• Windows 集成：Microsoft 通过 ONNX Runtime 为 Windows 设备提供 GPU 优化的 gpt-oss-20b 版本，可通过 Foundry Local 和 VS Code 的 AI Toolkit 获取。