Qwen 3.8 と GPT-5.5 Pro の推論プリフィル分析

Qwen 3.8 は GPT-5.5 Pro の推論と強い整合性を示す

実験結果は、Qwen 3.8 A95B の推論チャネルに教師モデルの推論の最初の 1% をプリフィル（事前入力）した場合、GPT-5.5 Pro との回答の重複が大幅に増加することを示しています。これは、Qwen 3.8 が GPT-5.5 Pro または密接に関連する GPT モデルの推論トレースを使用してポストトレーニングされた可能性があることを示唆しています。

45 問の問題（STEM 15 問、非 STEM 15 問、合成パズル 15 問）にわたるテストにおいて、推論プリフィルが提供された場合、Qwen 3.8 の教師モデルの可視回答との重複は 18.18 パーセントポイント（16.79% から 34.97% へ）増加しました。この効果は STEM 科目で最も顕著であり、デルタ（差分）は +26.99 パーセントポイント でした。

カテゴリ別のパフォーマンス指標

カテゴリ	n	プリフィルなし	GPT-5.5 Pro 推論プリフィル	デルタ
STEM	15	19.26%	46.24%	+26.99 pp
Non-STEM	15	20.62%	33.42%	+12.80 pp
Puzzle	15	10.49%	25.23%	+14.75 pp
All	45	16.79%	34.97%	+18.18 pp

メソドロジー：蒸留のシグナルとしての推論プリフィル

実験では、潜在的なモデル蒸留を検出するために「推論プリフィル」技術を利用しています。プロセスは、ターゲットモデルから 2 つの回答を生成することを含みます：

通常の、プリフィルなしの回答。
ターゲットモデルの推論チャネルに、教師モデル（GPT-5.5 Pro）の推論の最初の 1% を挿入した回答。

研究者は、ターゲットモデルの可視回答の最初の 100 トークンと、教師モデルの可視回答との間の重複（unigram, bigram, trigram source recall の平均）を測定します。高い正のデルタ（つまり、教師の内部推論でプロンプトされた際に、モデルの出力が教師の出力に著しく似るようになること）は、蒸留のシグナルとして使用されます。

比較モデル分析

Qwen 3.8 は劇的な変化を示しましたが、同じ実験でテストされた他のモデルは、GPT-5.5 Pro プリフィルに対して最小限、あるいは負の反応を示しました：

Kimi K3: ベースラインの重複が最も高かった（31.11%）ものの、プリフィルによる増加は +4.54 pp とわずかなものでした。
Inkling: +0.46 pp のわずかな増加を示しました。
DeepSeek V4 Flash: -1.17 pp のわずかな減少を経験しました。

研究者は、以前の実験において Qwen は Claude Opus 4.8 に対してほとんど動きを見せなかったのに対し、今回の研究では GPT-5.5 Pro に対して強い動きを見せたことを指摘しています。

コミュニティの洞察と反論

これらの結果を取り巻く技術的な議論では、推論トレースに関するいくつかの代替的な説明やニュアンスが強調されています：

データ汚染の可能性

一部の観察者は、重複が意図的な蒸留の結果ではなく、むしろデータ汚染の結果である可能性を示唆しています。あるユーザーは、Qwen 3.8 0902 は「stolen thoughts」に関する論文のリリース（8月10日）後にトレーニングされたため、トレーニング中にそれらの特定の推論トレースを単に見てしまった可能性があると指摘しています。

スタイル vs. 知能の転送

これらの結果が、真の知能の転送を指示しているのか、それとも単にスタイルの影響なのかについては議論があります。あるコメント主は次のように述べています：

"While this result does imply there was some training on the reasoning trace and output of GPT 5.5, it doesn't tell us how much of the source of its training it was... And it doesn't tell us how much it is more a stylistic influence rather than being a genuine lifting over of intelligence."

観察的証拠

一部のユーザーは、同様の推論パターンに関する逸話的な証拠を報告しています。あるユーザーは、GPT-5.6 Sol の内部推論（ツール呼び出しを通じてリークされたもの）が、幾何学の最適化問題において、Qwen 3.8 27B の推論ブロックの言い回しや構造を反映していることを観察しており、これは推論トレースの共有された系譜を示唆しています。