Inkling 开放权重模型发布
Inkling 开放权重模型发布
Inkling 是一个拥有 975 B 参数的 Mixture‑of‑Experts（混合专家）Transformer，拥有 41 B 活跃权重、1 M‑token 上下文窗口，并完整开放权重，是首个能够在 Thinking Machines 的 Tinker 平台上微调的 大规模多模态开放模型。
为什么 Inkling 很重要：多模态、高效且可定制的基础模型
Inkling 将多模态推理（文本、图像、音频、视频）、可控思考力度以及与 Tinker 微调 UI 的无缝集成相结合，为开发者提供了一个实用的开放权重基座，用于构建领域特定的代理，尽管它在原始基准分数上并非最强模型。
核心规格
- 架构：MoE Transformer（每层 256 个路由专家，单 token 激活 6 个），采用滑动窗口 + 全局注意力（5:1 比例）和相对位置嵌入。
- 规模：总参数 975 B，推理时活跃 41 B；上下文窗口 1 M‑token。
- 训练数据：45 万亿 token，覆盖文本、图像、音频和视频。
- 多模态输入：图像以 40×40 像素补丁形式，由四层 hMLP 处理；音频以离散 dMel 谱图表示。
- 力度控制：运行时的 “effort” 旋钮（0.2‑0.99）让用户在 token 使用量与性能之间权衡，以约 ⅓ 的 token 预算即可达到与更大模型相当的分数。
- 发布：完整权重已在 Hugging Face（标准和 NVFP4 检查点）上提供，并可立即在 Tinker 控制台使用（64 K / 256 K 上下文选项）。
力度 = 0.99 时的基准表现
Inkling 更像是一个均衡的通用模型，而非专精模型。在 0‑100 的共享尺度上，它在多个系列中表现竞争力：
| 类别 | Inkling 分数 | 最佳开放权重对比模型 |
|---|---|---|
| 推理 (HLE + tools) | 46 % | Nemotron 3 Ultra (54 %) |
| 代理式编码 (SWEBench Verified) | 77.6 % | Claude Fable 5 (95 %) |
| 视觉 (MMMU Pro) | 73.5 % | Gemini 3.1 Pro (82 %) |
| 音频 (VoiceBench) | 91.4 % | Gemini 3.1 Pro (94 %) |
| 安全 (FORTRESS Adversarial) | 78.0 % | Nemotron 3 Ultra (77.6 %) |
| 安全 (StrongREJECT) | 98.6 % | 所有顶级模型 ≥ 98 % |
| 预测 (Brier Index, no search) | 61.1 ± 0.79 | Kimi K2.6 (61.7 ± 0.54) |
力度扫描显示，Inkling 以约三分之一的 token 数量就能达到 Nemotron 3 Ultra 在 Terminal Bench 2.1 上的得分，体现了其效率优势。
多模态能力
- 音频：语音转文字、口头指令执行以及长音频推理。VoiceBench 上 91.4 % 的得分使 Inkling 成为最强的开放权重音频模型之一。
- 视觉：图像描述、视觉问答以及图表/示意图推理。通过轻量级 Python 工具实现的缩放/裁剪操作，使其能够处理视觉加代码任务。
- 文本与代码：代理式工具使用、一键 Web 应用生成以及长文本精炼循环（例如 40 次迭代优化的多人贪吃蛇游戏）。
这些能力基于无编码器设计，实现了多模态在同一 Transformer 流中的简化集成。
可控思考力度
Inkling 的 effort 参数让开发者在延迟、成本与性能之间取得平衡。0.2 到 0.99 的扫描在 Terminal Bench 2.1、HLE 与 IFBench 上呈现平滑的性能曲线。例如，要在 Terminal Bench 上匹配 Nemotron 3 Ultra，仅需约 33 % 的 token，直接降低高吞吐量应用的推理成本。
安全性与认知度
Inkling 在训练时加入了覆盖 CBRN、网络和操纵威胁的安全规范，并由外部测试者进行评估。它在 FORTRESS 对抗拒绝率上达到 78 %（开放权重模型最高），在 StrongREJECT 上超过 98 %，表明在拒绝有害请求的同时保持了良好的良性回答率。
通过带有评分标准和事实性评估器的 RL 以及考虑“我不知道”情形的奖励机制，提升了校准（认知度）。在 ForecastBench 上，Inkling 的 Brier Index（61.1）与最佳开放模型相当，显示出可靠的不确定性估计能力。
Inkling‑Small 预览
更轻量的兄弟模型 Inkling‑Small 采用 276 B 总参数（12 B 活跃），在多数基准上与大模型持平或超越（如 IFBench 83.4 % 对比 79.8 %），且具备更低的延迟和成本，适合对速度要求高的工作负载。
通过 Tinker 定制
Inkling 可直接在 Tinker 控制台微调，平台已加入 “Inkling Playground” 供交互式聊天和工具使用。发布演示了自我微调：Inkling 生成自己的微调任务、执行并评估结果，展示了平台的端到端工作流。
开发者可通过 Together、Fireworks、Modal、Databricks、Baseten 的 API 访问模型，也可使用 vLLM、TokenSpeed、llama.cpp 等开源运行时（包括针对 NVIDIA Blackwell GPU 的 NVFP4 优化检查点）。
社区反馈（Hacker News 精选）
- 正面评价：评论者称赞其多模态广度，尤其是音频支持，并对美国实验室交付竞争性开放模型表示欣喜。
- 基准质疑：部分用户指出 Inkling 在原始分数上落后于 GLM‑5.2，但强调其独特组合（多模态、力度控制、Tinker 集成）是差异化优势。
- 实际顾虑：用户询问本地部署（如 llama.cpp 移植）和许可（Apache‑2.0 加额外 AUP）细节。
- 未来期待：社区期待出现模型家族（small + large），并将 Inkling 视为企业级微调服务的潜在基石。
要点总结
- Inkling 是首个原生支持文本、图像、音频和视频、且拥有 1 M‑token 上下文的大规模开放权重模型。
- 可控的 effort 机制提供了明确的成本‑性能权衡，在 token 效率上超越更大的竞争对手。
- 与 Tinker 的集成微调让 Inkling 可直接用于领域特定应用，使其成为实用的基础模型，而非仅仅是基准冠军。
获取方式
- 权重：Hugging Face 仓库
thinkingmachines/inkling（标准和 NVFP4 检查点）。 - 交互演示：Tinker 控制台中的 Inkling Playground。
- API 接入：通过 Together、Fireworks、Modal、Databricks、Baseten 以及开源运行时（vLLM、TokenSpeed、llama.cpp 等）提供。
结论：Inkling 的多模态广度、高效力度控制以及开箱即用的微调流水线，使其成为需要可定制、成本有效模型的开发者的有力开放权重基础模型，即使它并非每项基准的绝对最高分。