volotat/mini-AGI

Continual learning model trained from scratch on 8GB VRAM laptop with batch-1 stream of data.

解决的问题

本项目解决了大多数语言模型在训练后被“冻结”的局限性,防止它们在学习新数据时遗忘已有的知识。它还通过允许模型根据可用磁盘空间而非严格受限于GPU显存(VRAM)大小来扩展知识容量,从而解决了硬件瓶颈问题。

工作原理

该系统不将整个模型加载到内存中,而是将其“专家”(小型神经网络块)作为独立文件存储在磁盘上。当模型处理文本时,它会动态地仅将任务所需的特定专家加载到GPU的VRAM中。随着模型的学习,它可以创建新的专家或修剪未使用的专家。它采用“持续学习”方法,读取和训练同时进行,确保模型在消耗新数据的过程中不断进化,而无需单独的静态训练阶段。

适用人群

本项目适合拥有适中硬件(至少6 GB VRAM)并希望探索构建能够从连续数据流中学习的模型的实验者和爱好者。这是一个面向研究的“玩具级”实验,而非用于高端任务的生产级工具。

亮点

  • 磁盘支持的容量: 模型的参数数量受限于硬盘空间,而非GPU内存。
  • 持续学习: 它从读取的每个字符中学习,避免了标准模型中常见的“灾难性遗忘”。
  • 自适应架构: 模型自动决定在每个字符上花费多少计算能力,对复杂任务使用更多的处理“行”,对简单任务使用较少的处理“行”。
  • 硬件高效: 设计用于在单个具有8 GB VRAM的消费级GPU上运行和训练。
  • 无分词器: 它处理原始字节值,无需预定义的词汇表即可处理任何输入。

相关

  • Dispatch
  • 项目
  • Dispatch
  • 项目
  • Dispatch