Qwen 3.8 27B 发布说明

Qwen 3.8 27B 在紧凑的 27B 密集模型中提供了前沿水平的编码与智能体能力

Qwen 3.8 27B 是迄今为止 Qwen 开源模型家族中最强大的一代,基于 Qwen 3.5 的架构基础构建。它在编码、专业研究和长周期智能体任务方面实现了显著提升,同时保持了便于部署的模型规模。值得注意的是,它是一个原生的视觉-语言模型,能够理解图像和长达数小时的视频。

核心技术规格

Qwen 3.8 27B 是一个因果语言模型,集成了视觉编码器。它是一个密集模型(非 MoE),具有以下架构特点:

  • 参数量:270 亿
  • 隐藏维度:5120
  • 层数:64
  • 上下文长度:原生支持 262,144 个 token,可通过 RoPE 缩放(例如 YaRN)扩展至 1,000,000 个 token。
  • 架构布局:16 × (3 × (门控 DeltaNet → FFN) → 1 × (门控注意力 → FFN))
  • MTP(多 token 预测):通过多步训练提升推理效率。

主要功能增强

灵活的思维控制

Qwen 3.8 引入了默认启用的“思维模式”。该模式允许模型在生成最终答案前输出内部推理过程(以 </tool_call> 标签标记)。用户可通过以下参数控制此行为:

  • reasoning_effort:调整推理深度,提供三个等级:xhigh(默认,适用于复杂分析)、medium(平衡)、low(优化速度/成本)。
  • preserve_thinking:默认启用,保留历史消息中的推理块,以维持上下文连贯性并提升 KV 缓存利用率。
  • 指令模式:可完全禁用思维模式,以获得直接响应。

原生多模态智能

该模型支持原生的图像与视频理解,涵盖从 STEM 图表、文档到长达数小时视频的各类内容。在“计算机使用”场景中表现出色,包括 OSWorld、WebArena 和 AndroidWorld。

基准性能

Qwen 3.8 27B 相较于 Qwen 3.6 27B 有显著提升,并与更大规模的前沿模型(如 Opus 4.6 Max)表现接近。

文本与编码性能

基准测试 Qwen 3.8 27B Qwen 3.6 27B Opus 4.6 Max
SWE-bench Pro(智能体编码) 61.7 53.5 53.4
QwenSWEBench(软件工程) 79.0 49.3 63.8
CoWorkBench(办公任务) 70.7 61.0 68.2
LiveCodeBench v6(竞赛编码) 90.3 83.9 88.8
IFBench(指令遵循) 79.5 69.1 62.5

视觉-语言(VL)性能

基准测试 Qwen 3.8 27B Qwen 3.6 27B Opus 4.6 Max
OSWorld-Verified(计算机使用) 84.3 63.9 72.7
WebArena-Verified(浏览器使用) 64.8 48.8 --
AndroidWorld(移动设备使用) 81.9 70.3 62.0
MathVision(视觉数学) 94.6(含 CI) 85.1 65.5

部署与服务最佳实践

推荐框架

对于生产负载,Qwen 团队推荐使用专用的服务引擎:

  • SGLangvLLMTokenSpeed
  • FP8 量化:发布的 FP8 量化权重采用细粒度量化(块大小 128),性能几乎与原始模型一致。

采样参数

  • 思维模式temperature=1.0top_p=0.95top_k=20min_p=0.0presence_penalty=0.0repetition_penalty=1.0
  • 指令模式temperature=0.7top_p=0.80top_k=20min_p=0.0presence_penalty=1.5repetition_penalty=1.0

长上下文处理

为将上下文扩展至 100 万个 token,用户应修改 config.json 中的 rope_parameters,使用 rope_type: "yarn" 并设置 factor 为 4.0。团队提醒,静态 YaRN 可能影响短文本性能,建议根据典型应用长度调整该因子。

社区洞察与观察

来自 Hacker News 的社区反馈揭示了多项实际部署经验:

  • 硬件性能:用户报告在多种硬件上成功部署,包括 RTX 3090 和 M5 Max MacBooks。有用户指出,在 RTX 5090 上使用 ninfer 引擎可实现约 138 tokens/秒的吞吐。
  • 推理行为:部分用户观察到 xhigh 推理模式可能导致“过度思考”或“代码分支过深”,建议在简单任务中使用 mediumlow 等级以获得更优表现。
  • 与 MoE 模型对比:部分开发者表示更倾向于使用混合专家(MoE)模型(如 35B A3B)以在低端硬件(如 M1 Max)上获得更高效率,指出 27B 密集模型可能内存占用较高。
  • 实际应用价值:多位用户反馈,该模型在实际使用中“感觉像 Opus 4.5/4.6”,尤其在复杂编码任务和 SVG 生成方面表现突出。

"我给了它一张图片和一个大致的构想,它从头到尾完整构建了整个项目。" — @swalsh

Sources

相关