あなたのAIはどれくらい古いのか?現行20モデルのリリース日と学習カットオフ
要約 – モデルの鮮度は大きく異なります。トップクラスのモデルの多くは、学習データが停止してから数ヶ月後にリリースされており、8つのラボのうち公開されているカットオフ日を明示しているのはわずか5つです。
このトラッカーが測定するもの
結論: 「Stale AI」ページには、各モデルの2つのタイムスタンプ(リリース日:モデルが一般公開された日、学習カットオフ:モデルが学習したデータの最新日)が記載されています。この間のギャップは、リリース時にモデルの知識がどれだけ古いかを定量化するものです。
- このサイトでは、8つの主要ラボ(Meta、Anthropic、Mistral AI、Google DeepMind、OpenAI、Alibaba、xAI、DeepSeek)の20モデルを追跡しています。
- データは自動的に更新され、カウンターは各日付からカウントアップされます。
- JSONダンプ(
models.json)により、プログラムで使用するための生データが提供されます。
リリース日と学習カットオフのギャップ
結論: 最大のギャップは5ヶ月を超えており、ユーザーは半年以上前の情報しか持たないモデルと対話していることになります。
| モデル | ラボ | リリース日 | 学習カットオフ | ギャップ(ヶ月) |
|---|---|---|---|---|
| Llama 4 | Meta | 2025年4月5日 | 2024年8月 | ~8 |
| Claude Haiku 4.5 | Anthropic | 2025年10月15日 | 2025年7月 | ~3 |
| Gemini 3.1 Pro | Google DeepMind | 2026年2月19日 | 2025年1月 | ~13 |
| Claude Sonnet 5 | Anthropic | 2026年6月30日 | 2026年1月 | ~5 |
| GPT‑5.6 Sol / Luna | OpenAI | 2026年7月9日 | 2026年2月16日 | ~5 |
| Claude Opus 5 | Anthropic | 2026年7月24日 | 2026年5月 | ~2 |
| Grok 4.6 | xAI | 2026年8月12日 | 2026年2月1日 | ~6 |
| GPT‑6 Astra | OpenAI | 2026年9月3日 | 2026年4月30日 | ~4 |
「未確定」と記されたモデルはカットオフが公開されていないため、ギャップを計算できません。
カットオフを公開しているラボ
結論: 5つのラボ(Anthropic、Google DeepMind、Meta、OpenAI、xAI)のみが少なくとも1つの公式カットオフ日を提供しており、残りの3つ(Mistral AI、Alibaba、DeepSeek)は提供していません。
- リストされた20モデルのうち10モデルにはカットオフが公開されています。
- 空欄であることは、そのラボが一度も日付を公開していないことを証明するものではなく、著者が日付を見つけられなかったことを示しています。
Web検索ツールはギャップを埋めるか?
結論: いいえ。検索拡張された回答は、現在のクエリに対してのみ外部ページを使用するものであり、モデルの内部知識ベースを更新するものではありません。
「モデルがあなたの代わりにWeb検索を行うとき、それは何も学習していません。いくつかのページを読み、その回答にそれらを使用し、そして忘れてしまいます。新しいチャットを開けば、また4月に戻ります。検索ツールはギャップを覆い隠すだけで、決して埋めることはありません。」 — @handle
したがって、古い学習データを補うためにブラウジングに頼ることは一時的な修正であり、恒久的な解決策ではありません。
Hacker Newsでのコミュニティの観察
結論: 実務家は、推論、ツール使用、Web検索を組み合わせることで古いデータの問題をあまり感じなくなっていますが、具体的なケースでは依然として問題が表面化しています。
- gjskngnfは、モデルにReutersを介して主張を検証するよう促したところ、モデルが最終的に事実を受け入れたと報告しており、明示的なソースチェックが古い知識を克服できる可能性を示唆しています。
- jasonjmcgheeは、優れた推論とツール使用がカットオフの影響を軽減していると同意しました。
- delichonは現実世界の失敗例を説明しました。モデルが2024年の選挙から数ヶ月経ってもジョー・バイデンを大統領として認識しており、Webブラウジングを強制されて初めて訂正したというものです。
- VCFundedGenYerは、古い自己ホスト型モデル(例:Ollamaコンテナ)が依然として2023年のカットオフで提供されており、多くのアプリケーションにとって受け入れがたいと指摘しました。
- asimovDevは、Qwen‑3.8が2025年の著作権フッターを生成し、古いバージョンのAstroフレームワークを前提としていた具体的なエラーを指摘しました。
これらの逸話は、古い知識が特に政治、ソフトウェアのバージョン、著作権の日付など、時間に敏感な領域において事実誤認につながる可能性があることを裏付けています。
開発者への実践的なアドバイス
結論: モデルの知識をスナップショットとして扱い、時間に敏感な事実は常に外部ソースで検証してください。
- モデルにカットオフを尋ねる – 適切に動作するモデルであれば、日付を開示するか、不確実であることを認めます。回答をトラッカーと照合してください。
- 最近の出来事、ソフトウェアのリリース、規制の変更に関するクエリには、明示的なWeb検索ツールを使用する。
- 鮮度が重要な場合は、カットオフが公開されているモデルを優先する – 開示された日付は、モデルが何を知っているかの明確な境界線となります。
- モデルのリリースを監視する – トラッカーは自動的に更新されるため、よりギャップの小さい新しいモデルが利用可能になったときにチームにプログラムで通知することができます。
なぜ鮮度が重要なのか
結論: 特にAIが主要な情報源となるにつれて、古い知識は誤情報、法的リスク、ユーザーの信頼低下を引き起こす可能性があります。
- 5ヶ月の遅れは、モデルがカットオフ後に発生した選挙、政策変更、ソフトウェアリリースなどの主要な出来事を知り得ないことを意味します。
- 規制の厳しい業界(金融、医療)では、古いデータに依存するとコンプライアンス違反につながる可能性があります。
- 最新の回答に対するユーザーの期待は高まっており、繰り返し古い事実を提供するモデルはすぐに信頼を失います。
リリース日と学習カットオフを追跡することで、関係者はどのモデルを展開するか、いつ検索ツールで補完するか、いつモデルのアップグレードを計画するかについて、情報に基づいた選択を行うことができます。
ソース: データと解説は、「How Stale Is Your AI?」トラッカー (https://stale.jock.pl/) および関連するHacker Newsの議論 (https://news.ycombinator.com/item?id=49726343) から直接引用しています。
Sources
関連
- Dispatch
- Dispatch
- Dispatch
- Dispatch
- Dispatch