Inkling 開放權重模型發布
Inkling 開放權重模型發布
Inkling 是一個 975 B 參數的 Mixture‑of‑Experts 變壓器，擁有 41 B 活躍權重、1 M 令牌上下文，並完整開放權重，是首個可在 Thinking Machines 的 Tinker 平台上微調的 大規模多模態開放模型。
為何 Inkling 重要：多模態、高效且可自訂的基礎模型
Inkling 結合了多模態推理（文字、影像、音訊、影片）、可控的思考努力，以及與 Tinker 微調 UI 的無縫整合，為開發者提供了一個實用的開放權重基礎，以構建領域特定的代理人，儘管它在原始基準分數上並非最強模型。
核心規格
- 架構：MoE 變壓器（每層 256 個路由專家，單令牌 6 個活躍）搭配滑動窗口 + 全局注意力（5:1 比例）與相對位置嵌入。
- 規模：總參數 975 B，推理時活躍 41 B；1 M 令牌上下文窗口。
- 訓練資料：45 兆令牌，涵蓋文字、影像、音訊與影片。
- 多模態輸入：影像以 40×40 像素補丁形式，由四層 hMLP 處理；音訊則為離散 dMel 頻譜圖。
- 努力控制：執行時的「effort」旋鈕（0.2‑0.99）讓使用者以較少的令牌換取性能，能以約 ⅓ 的令牌預算達到與更大模型相當的分數。
- 發布：完整權重於 Hugging Face（標準與 NVFP4 檢查點）釋出，並即時可於 Tinker 控制台使用（64 K / 256 K 上下文選項）。
努力度 = 0.99 時的基準表現
Inkling 是一個均衡的通用模型，而非專精模型。在 0‑100 的共享尺度上，它在多個領域中具競爭力：
| 類別 | Inkling 分數 | 最佳開放權重比較模型 |
|---|---|---|
| 推理 (HLE + tools) | 46 % | Nemotron 3 Ultra (54 %) |
| 代理程式碼 (SWEBench Verified) | 77.6 % | Claude Fable 5 (95 %) |
| 視覺 (MMMU Pro) | 73.5 % | Gemini 3.1 Pro (82 %) |
| 音訊 (VoiceBench) | 91.4 % | Gemini 3.1 Pro (94 %) |
| 安全性 (FORTRESS Adversarial) | 78.0 % | Nemotron 3 Ultra (77.6 %) |
| 安全性 (StrongREJECT) | 98.6 % | 所有頂級模型 ≥ 98 % |
| 預測 (Brier Index, no search) | 61.1 ± 0.79 | Kimi K2.6 (61.7 ± 0.54) |
努力度掃描顯示 Inkling 以約三分之一的令牌數達到 Nemotron 3 Ultra 的 Terminal Bench 2.1 分數，展現其效率優勢。
多模態能力
- 音訊：語音轉文字、口語指令執行與長篇音訊推理。VoiceBench 上 91.4 % 的分數使 Inkling 成為最強的開放權重音訊模型之一。
- 視覺：影像描述、視覺問答與圖表/圖解推理。透過輕量 Python 工具支援影像加程式碼的縮放/裁剪操作。
- 文字與程式碼：代理工具使用、單次網頁應用生成、以及長篇精煉迴圈（例如 40 次迭代的多人貪食蛇遊戲）。
這些能力基於無編碼器設計，簡化了多模態與同一變壓器流的整合。
可控的思考努力
Inkling 的 effort 參數讓開發者在延遲、成本與效能之間取得平衡。從 0.2 到 0.99 的掃描在 Terminal Bench 2.1、HLE 與 IFBench 上呈現平滑的效能曲線。例如，要在 Terminal Bench 上匹配 Nemotron 3 Ultra，只需約 33 % 的令牌，即可直接降低高吞吐量應用的推理成本。
安全性與認知度
Inkling 以涵蓋 CBRN、網路與操控威脅的安全規格進行訓練，並由外部測試者評估。它在 FORTRESS 對抗性拒絕率（78 %）上於開放權重模型中最高，且在 StrongREJECT 上超過 98 %，顯示在拒絕有害請求的同時仍能保持良好的良性回應率。
校準（認知度）透過帶有評分標準與事實性評分員的 RL 以及考慮「不確定」的獎勵機制提升，鼓勵模型在信心低時說「我不知道」。在 ForecastBench 上，Inkling 的 Brier Index（61.1）與最佳開放模型相當，顯示其不確定性估計可靠。
Inkling‑Small 預覽
較輕量的兄弟模型 Inkling‑Small 具備 276 B 總參數（12 B 活躍），在多項基準上與大型模型持平或超越（例如 IFBench 83.4 % 對 79.8 %），且具更低的延遲與成本，適合對速度有嚴格要求的工作負載。
透過 Tinker 客製化
Inkling 可直接在 Tinker 控制台微調，該控制台現在加入了「Inkling Playground」供互動聊天與工具使用。發布展示了自我微調流程：Inkling 產生自己的微調任務、執行並評估結果，示範平台的端到端工作流。
開發者可透過 Together、Fireworks、Modal、Databricks、Baseten 的 API 存取模型，亦可使用開源執行環境如 vLLM、TokenSpeed、llama.cpp（含 NVIDIA Blackwell GPU 的 NVFP4 優化檢查點）。
社群回應（Hacker News 精選）
- 正面回應：評論者讚賞其多模態廣度，特別是音訊支援，且美國實驗室推出具競爭力的開放模型。
- 基準懷疑：部分使用者指出 Inkling 在原始分數上落後於 GLM‑5.2，但強調其獨特的特性組合（多模態、努力控制、Tinker 整合）是差異化優勢。
- 實務顧慮：使用者詢問本地部署（如 llama.cpp 移植）與授權（Apache‑2.0 加額外 AUP）。
- 未來期待：社群期待模型家族（small + large），並視 Inkling 為企業級微調服務的潛在基石。
重點整理
- Inkling 是首個原生支援文字、影像、音訊與影片，且具 1 M 令牌上下文的大規模開放權重模型。
- 可控的 effort 機制提供明確的成本‑效能權衡，在令牌效率上優於更大的競爭者。
- 在 Tinker 上的即時微調使 Inkling 可直接用於領域特定應用，定位為實用的基礎模型，而非僅僅的基準冠軍。
取得 Inkling 的方式
- 權重：Hugging Face 倉庫
thinkingmachines/inkling（標準與 NVFP4 檢查點）。 - 互動示範：Tinker 控制台的 Inkling Playground。
- API 存取：可於 Together、Fireworks、Modal、Databricks、Baseten 以及開源執行環境（vLLM、TokenSpeed、llama.cpp 等）取得。
結論：Inkling 以其多模態廣度、有效的努力控制與開箱即用的微調管線，成為開發者在需要可客製化且具成本效益模型時的有力選擇，即使它不是每項基準的絕對最佳表現者。