Engram CEO Dan Biderman が語る AI 記憶問題と、長いコンテキストだけでは不十分な理由

Engram CEO Dan Biderman が語る AI 記憶問題と、長いコンテキストだけでは不十分な理由

TL;DR

Engram の Dan Biderman は、コンテキストウィンドウを長くするだけでは AI システムに信頼できる長期記憶を与えることはできず、代わりに knowledge cartridges（知識カートリッジ）に知識を圧縮し、効率的な継続学習によってモデルの重みを継続的に更新する必要があると述べています。このアプローチは、トークン効率が高くコスト効果のある AI を実現し、兆トークン規模のコーパスを扱い、個々のユーザーにパーソナライズできることを約束します。

1. なぜ長いコンテキストだけでは不十分か

  • コンテキストロット: トークン数を増やすほどモデルは混乱しやすく、たとえ 1,000 万トークンのウィンドウでも全体的な推論が保証されるわけではありません。
  • 圧縮の限界: 現在の圧縮（重要度の低いトークンの追い出し）は情報を失いやすく、特に長時間のセッションで忘却が起こります。
  • メモリ非効率: 数キロバイトの記事を LLaMA‑70B にロードすると約 80 GB の GPU HBM を消費し、モデル自体の 140 GB パラメータサイズをはるかに超えてしまいます。KV‑キャッシュがシステムのボトルネックになります。
  • コスト爆発: 兆トークン規模のコーパスに対して最先端モデルにクエリを投げると、1 回のクエリで数千ドルかかり、エンタープライズ規模での RAG が実用的でなくなります。

2. Knowledge Cartridges: コーパスをモデル状態に圧縮する

  • 概念: 大規模コーパスを 事前に 学習させ、得られた脳状態（カートリッジ）が知識を高度に圧縮した形でエンコードします—生テキストの千分の一程度になる可能性があります。
  • 使用方法: 推論時にカートリッジをモデルにロードすれば、はるかに少ないトークンで推論でき、混乱とコストが削減されます。
  • 粒度: カートリッジはタスク固有（例: 特定スキル）やコーパス固有（例: 企業内部文書）に分けられます。
  • アナロジー: 料理本を読むだけでなく直感を体得したシェフのように、カートリッジは生レシピを超える「直感」を捉えます。

3. 継続学習 & テスト時トレーニング

  • 目的: 既存の知識を壊さずに新しいデータでモデルの重みを更新し、トークン効率 を実現し、長期タスクを可能にします。
  • 手法: 推論中に勾配ベースの更新（テスト時トレーニング）を行い、モデルがその場で新情報を吸収できるようにします。
  • 利点: 1 つのモデルでカートリッジに保存された静的知識と、ユーザー固有の動的更新の両方を扱えるようになります。

4. トークン効率を知能の指標とする

  • 前提: 賢い AI は少ない計算サイクルで多くを成し遂げます。トークン効率はより難しい問題を解く能力と直結します。
  • ルーティング: Engram は可能な限り最小の対応可能モデル（例: 安価なオープンソース LLM）にクエリを振り分け、重要なタスクだけ大規模モデルを使う方針です。
  • 将来像: タマゴッチのように継続的に成長するパーソナル AI エージェント—ユーザーが育て、エージェントは常に人間の監督なしで適応します。

5. エンタープライズ活用例

  • 包括的クエリ: 「今年未完了の M&A 取引はどれか？」といった、数千ファイルに跨る情報集約が必要なタスクは単純な RAG では答えられず、関係性を 学習 したモデルが必要です。
  • コスト効率のスケーリング: 企業知識をカートリッジに圧縮し、トークン効率の高い推論を行うことで、ナイーブな RAG に比べてごくわずかなコストで同様のクエリに答えられます。

6. 未解決の研究課題

  • 重みとテキストの境界はどこか？ どの事実を内部化（重み）し、どれを外部テキストとして保持すべきかは未解決で、人間の記憶研究に似た問題です。
  • 自動顕著性検出: Engram はカートリッジに何を保存すべきかを自律的に判断するモデルを訓練中で、手動ヒューリスティックの「ホウキでモグラ叩き」問題を回避しようとしています。
  • スケーラブルなインフラ: デバイス上に何百万ものパーソナライズドカートリッジを展開するには、新しい API、ストレージ形式、推論パイプラインが必要です。

7. チームと文化

  • Engram の研究チームはスタンフォード、バークレー、コーネル出身の PhD と業界ベテランで構成されています。
  • 同社はプロダクトファーストの考え方を重視し、研究はエンタープライズや最終的には個人デバイスで使えるツールに変換されなければなりません。
  • 採用重点: パフォーマンスエンジニア、リサーチエンジニア、インフラストラクチャスペシャリストで、大規模かつコスト効率の高い AI パイプラインを構築できる人材。

8. 終わりに

  • 効率 ≠ 安価: 少ないリソースで多くを成し遂げることは知能を犠牲にすることではなく、解決可能な問題の範囲を広げます。
  • 次のパラダイム: 「スケールアップ」（トークン増、モデル拡大）から「スケールダウン」（コンパクト表現、継続学習）への転換が長期的な AI 記憶の鍵です。
  • 行動呼びかけ: Engram は協業者、投資家、才能ある人材を募集し、真に記憶し学習し続ける AI の構築というミッションに参加してほしいと呼びかけます。

詳しくは: https://engram.com – パートナーシップや採用に関する問い合わせは dan@engram.com まで。

Sources