フロンティアAIモデルの知識カットオフとトレーニングタイムラインの調査

フロンティアAIモデルは、精選されたリクエストを使用して、トレーニングタイムライン、データセットの混合、およびパラメータの近似に関する隠れた事実を調査することができます。日々の事実に関するエラー率と自己識別回答を分析することで、研究者はモデルの事前トレーニングのチェックポイントがいつ完了したか、および以前のモデル世代の出力でトレーニングされたかどうかを推定できます。

知識カットオフを事実調査によって推定する

知識カットオフは、Wikipediaからの日々の事実のデータセットでモデルをテストし、モデルのエラー率が増加する時点を分析することで近似できます。この方法は、モデルの事実に関する知識と、公開されている知識カットオフとの間のギャップを明らかにします。

モデルのカットオフに関する主な調査結果

Anthropic Opus 4.7+: これらのモデルは同じトレーニングランから派生しているようで、実質的な知識カットオフは2025年12月下旬頃です。
OpenAI GPT-5.6 Family: このファミリーは、GPT-5.5とは別の個別のチェックポイントから来ている可能性が高く、完了日は2026年2月下旬頃です。
Opus 5 の不一致: Opus 5は2026年5月の信頼できる知識カットオフを公開していますが、調査によると、コーディングパッケージのバージョンの想起を含め、2026年1月カットオフのモデルとほとんど変わらないことが示唆されています。

フロンティアモデルのトレーニングの3つの段階

現代の大規模言語モデル（LLM）の開発は、一般的に3段階の収束に従います：

Pre-training: 膨大な汎用インターネットデータのスクレイピング結果を用いて、大規模なオートコンプリートモデルをトレーニングし、ベースチェックポイントを作成します。
Capability Enhancement: ドメイン固有の「教科書品質」のデータを使用して、長文理解などのベース能力を向上させます。
Post-training: モデルをアシスタントのペルソナに調整し、推論、パーソナリティ、およびツール呼び出しに焦点を当てます。

リリースされたモデルのマイナーバージョンは、通常、ポストトレーニングと能力の進歩によってもたらされますが、メジャーバージョン（例：GPT-4からGPT-5）は通常、新しい事前トレーニングのランを意味します。

モデルのアイデンティティとトレーニング混合物の分析

システムプロンプトなしで「あなたは何のモデルですか？」という質問でモデルを調査することで、研究者はトレーニングデータの構成を推論できます。モデルが特定のバージョンや他のラボのモデルとして頻頻繁に自己識別する場合、それはトレーニング混合物にそのソースからの大量のデータが含まれていることを示唆しています。

ユーザーチャットによるトレーニングの証拠

調査によると、アイデンティティの垂直方向のバンドが明らかになり、ラボが以前のモデルの出力でトレーニングを行っていることが示唆されています。OpenAIの場合、モデルはGPT-4、GPT-4o、およびGPT-5として自己識別してきました。Anthropicのモデルは、3.5 SonnetからSonnet 4.5へと識別が変化しています。このパターンは、ChatGPT.comやClaude.aiのようなプラットフォームからのユーザーチャットセッションをトレーニング素材として使用していることを強く示唆しています。

ラボ間の汚染（Cross-Lab Contamination）

データは、ラボ間の情報の潜在的な流れを示唆しています。具体的には、AnthropicのSonnet 5は、定期的にGPT-4として自己識別します。さらに、他のモデルを模倣するように求められた際、Claudeモデルは68%の成功率でOpenAIの癖を再現しますが、一方でOpenAIモデルはClaudeの癖をわずか8%の割合で再現します。

コミュニティの洞察と反論

これらの調査結果に関する技術的な議論は、LLMが知識をどのように保存し、報告するかについて、いくつかのニュアンスを強調しています：

"LLMは、明確に区分けされたカットオフ日を持っていると疑っています。例えば、歴史的な文献は変化しません... 一般的な知識（特定の領域のみ更新される）、テクノロジー（定期的に更新される）... そして、タブロイド的な知識、それは常に最新です。"

他の貢献者は、「Opus 5」のようなマーケティング名は、単一の静的なモデルではなく、むしろバージョンとマイナーアップデートの集合体を表している可能性があり、また、初期の事前トレーニングの知識カットオフの後に、安全性とアライメントのトレーニングの複数のサイクルが実行されることを指摘しています。