volotat/mini-AGI

Continual learning model trained from scratch on 8GB VRAM laptop with batch-1 stream of data.

解決する課題

このプロジェクトは、ほとんどの言語モデルが学習後に「凍結」され、既存の知識を忘れることなく新しいデータから継続的に学習することができないという制限に対処します。また、GPUのビデオメモリ(VRAM)のサイズに厳密に制限されるのではなく、利用可能なディスク容量に基づいてモデルの知識容量を拡張できるようにすることで、ハードウェアの障壁も解決します。

仕組み

このシステムはモデル全体をメモリに読み込むのではなく、「エキスパート」(小さなニューラルネットワークブロック)を個別のファイルとしてディスクに保存します。モデルがテキストを処理する際、そのタスクに必要な特定のエキスパートのみを動的にGPUのVRAMに読み込みます。モデルは学習するにつれて、新しいエキスパートを作成したり、未使用のエキスパートを削除したりできます。読み取りと学習を同時に行う「継続的学習」アプローチを採用しており、個別の静的な学習フェーズを必要とせずに、新しいデータを消費しながらモデルが進化し続けることを保証します。

対象読者

このプロジェクトは、控えめなハードウェア(少なくとも6 GBのVRAM)を持ち、継続的なデータストリームから学習するモデルの構築を模索したい実験者や愛好家向けです。これはハイエンドタスク向けの製品レベルのツールではなく、研究指向の「おもちゃレベル」の実験です。

ハイライト

  • ディスクベースの容量: モデルのパラメータ数はGPUメモリではなく、ハードドライブの空き容量によって制限されます。
  • 継続的学習: 読み取るすべての文字から学習するため、標準的なモデルでよく見られる「破滅的忘却」を回避します。
  • 適応型アーキテクチャ: モデルは各文字に費やす計算能力を自動的に決定し、複雑なタスクにはより多くの処理「行」を、単純なタスクにはより少ない「行」を使用します。
  • ハードウェア効率: 8 GBのVRAMを搭載した単一のコンシューマー向けGPUで実行および学習できるように設計されています。
  • トークナイザーなし: 生のバイト値を処理するため、事前定義された語彙を必要とせず、あらゆる入力を処理できます。

関連

  • Dispatch
  • プロジェクト
  • Dispatch
  • プロジェクト
  • Dispatch