Inkling 2 Small 发布说明

Thinking Machines 推出了 Inkling 2 Small,这是一款专为高性能智能体编码、视觉和知识工作而设计的全新混合专家(MoE)模型。该模型拥有 594B 总参数和 17B 激活参数,在 Artificial Analysis Intelligence Index 上取得了 31 分的成绩,相较于前代产品性能显著提升。

技术架构与训练

Inkling 2 Small 是首个完全采用 NVFP4 格式训练的同规模模型,NVFP4 是 NVIDIA Blackwell 架构引入的一种 4 位浮点格式。这种精度选择实现了快速的训练周期,其主要的预训练阶段(H1)在 NVIDIA GB300 NVL72 机架上仅用 68 小时就完成了 8.4 万亿 token 的训练。

训练过程采用了四阶段方法,最终进行了大规模的联合强化学习(RL)运行,在 9 天内完成了 1700 万次 rollout。团队采用了“StableReinforce”目标来处理其异步 RL 基础设施中的陈旧数据问题,使模型性能能够随计算量呈对数线性增长。

智能体与视觉能力

Inkling 2 Small 针对长周期自主任务进行了优化。它集成了一个基于 Perception Encoder 的 292M 参数视觉编码器,使其能够处理从 OCR 和信息图表解读到复杂视觉推理等各种任务的图像输入。

在智能体编码方面,该模型利用智能体 RL 评分器在数十万个长周期任务上进行了训练,该评分器评估的是问题解决过程,而不仅仅是单元测试结果。该模型在以下方面表现出色:

  • 自动研究: 展示了自主训练其他模型(例如 Qwen3.5-4B)进行时间序列预测的能力。
  • 视觉推理: 在仅使用视觉输入的盲品葡萄酒测试中表现优于研究人员。
  • 设计与模拟: 能够使用 Three.js 程序化生成交互式 3D 环境和城市模拟器。

安全与对齐

Thinking Machines 实施了纵深防御的安全策略。这包括:

  • 同步监控: 一种在执行前根据特定任务策略检查工具调用的系统。
  • 异步监控: 一种审查已完成 rollout 是否存在不当行为的 LLM 裁判。
  • 对齐训练: 使用策略内自蒸馏来内化行为规范,并在训练过程中过滤不当行为轨迹。

虽然该模型与之前版本相比对对抗性提示的抵抗力有所提高,但该公司指出,它在特定的对齐评估中仍落后于 GPT-6.1 Sol 等闭源权重模型。完整权重计划在外部安全测试后根据 Apache 2.0 许可证发布。

可用性与社区反响

Inkling 2 Small 目前可在 Tinker 平台上进行推理和微调。Hacker News 上的社区讨论强调了开发团队惊人的开发速度以及 NVFP4 训练配方的技术意义。观察人士指出,该模型是其他前沿开源权重模型的有力国内替代品,尽管一些用户对模型的大小和命名选择表示担忧。

"最重要的一点是训练完全是在 nvfp4 下进行的——这是迄今为止以该精度训练出的最强模型,这也解释了为什么他们能如此快速地完成训练。" — @itkovian_

"这是一个不错的国内开源权重模型。一个小团队在 9 天内没有花费数亿美元就制作出了一个可以击败 DeepSeek 4.1 的模型,并提供了一个微调平台。" — @epsteingpt

Sources

相关

  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch
  • Dispatch