Thinking Machines Inkling リリースノート / 新機能

Thinking Machinesは、画像、テキスト、オーディオ入力をネイティブに処理できる、1兆パラメータの巨大なオープンモデル「Inkling」をリリースしました。このリリースは、100万トークンのコンテキストウィンドウとエージェント的な推論能力を備えた、大規模なマルチモーダル・オープンモデルを提供するため、非常に重要です。

モデルアーキテクチャと機能

Inklingは、デコーダーのみのマルチモーダル Mixture-of-Experts (MoE) モデルです。合計9750億のパラメータを持つスパースアーキテクチャを採用しており、単一の推論パスでアクティブになるのは410億パラメータであるため、高速な計算が可能です。

主要なアーキテクチャの特徴

• Relative Attention: Rotary Positional Embeddings (RoPE) を使用する代わりに、Inklingは相対アテンションを使用しています。各アテンション層は、トークンごと、ヘッドごとの相対特徴投影を介して、アテンション・ロジット内で直接位置を学習します。
• Hybrid Attention: このモデルは、グローバル・アテンションとスライディング・ウィンドウ・アテンションを5:1の割合で交互に切り替えるハイブリッド・スキームを採用しており、最終層では豊かな特徴表現のためにグローバル・アテンションを使用しています。
• Short Convolution (SConv): 隠れ状態に対して1D畳み込みが適用され、局所的な表現を処理することで、アテンションおよびMoEモジュールへの計算負荷を軽減します。
• MoE with Shared Experts: ルーターは256のエキスパートに対してtop-k選択を行い、6つのルーティングされたエキスパートと、常にアクティブな2つの共有エキスパートを選択します。

マルチモーダル処理

各モダリティに対して個別のエンコーダーに依存するモデルとは異なり、Inklingは比較的シンプルなマルチモーダル・タワーを使用しています。

• Vision: 階層的なMLP patchifierが、ピクセルを段階的に埋め込み（embeddings）へとマージします。このアーキテクチャは、ビデオ処理のための時間次元をサポートしています。
• Audio: オーディオは離散化されたメル・スペクトログラムを介して変換され、100msのチャンクがメル・スペクトログラムのビンに分類された後、埋め込まれます。

推論とデプロイ

Inklingは主に2つの形式で提供されます。2 TBのVRAMを必要とするフルBF16チェックポイントと、600 GBのVRAMを必要とする高度にキャリブレーションされたNVFP4バリアントです。

サポートされているフレームワーク

• Transformers: transformers ライブラリ（バージョン 5.14.0以降）の any-to-any パイプラインを介して、Day-0サポートが提供されています。ユーザーは reasoning_effort レベルを none から max の範囲で指定できます。
• High-Performance Engines: このモデルは、SGLang（高速化のためのカスタム実装を含む）、vLLM（プロダクション・サービング向けに最適化）、および llama.cpp（GGUF量子化によるローカルデプロイ用）でサポートされています。
• Local Deployment: Unslothは1ビット精度の量子化を提供しており、これにより元のモデルと比較してVRAM消費量を95%削減できます。

パフォーマンスとベンチマーク

Inklingは、推論、エージェント、およびマルチモーダルのベンチマークにおいて競争力のあるパフォーマンスを示しています。多くの領域で高い習熟度を示していますが、パフォーマンスは特定のタスクや推論の努力レベルによって異なります。

推論と事実性

テキストのみの推論（HLE）において、Inklingは29.7%のスコアを記録し、Claude Fable 5 (53.3%) や GPT 5.6 Sol (47.2%) といったモデルに次ぐ結果となっています。しかし、AIME 2026では97.1%という高いスコアを出し、強力な数学的推論能力を示しています。

エージェントおよびマルチモーダル・パフォーマンス

• Coding: SWEBench Verifiedにおいて、Inklingは77.6%を達成し、Gemini 3.1 Pro (80.6%) や Claude Fable 5 (95.0%) と同等の競争力のあるパフォーマンスを発揮しています。
• Vision: MMMU Pro (Standard 10) において、Inklingは73.3%を記録しました。
• Audio: VoiceBenchにおいて、Inklingは91.4%のスコアを達成しました。

ポストトレーニングと研究ツール

Thinking Machinesは、ファインチューニングや強化学習を通じてモデルを適応させたい開発者のために、以下のツールを提供しています。

• Tinker: 蒸留（distillation）やRLのためのクックブックを含む、オープンウェイト・モデルのポストトレーニング用マネージド・ツール。
• OpenEnv: モデルが個別の検証器なしに環境を予測できるようにするECHOアルゴリズムを使用して、モデルを訓練するために使用されるエージェント的RL環境ツール。
• Knowledge Distillation: Inklingは、異なるトークナイザー間でトークン・ロジットを一致させるためのGOLDアルゴリズムを使用して、より小さなオンデバイス・モデルのティーチャー・モデルとして機能できます。