AutoArk/TinyEngram

What it solves

TinyEngram은 대형 모델에 새로운 지식이나 개념을 주입할 때 "파괴적 망각"—새로운 전문 정보를 학습하면서 모델이 일반적인 능력을 잃는 현상—을 방지하는 문제를 해결합니다. 또한 LoRA와 같은 기존 파인튜닝 방법에 비해 파라미터 효율이 높은 대안을 제공합니다.

How it works

이 프로젝트는 Engram 아키텍처를 구현하여 트랜스포머 레이어에 컴팩트한 N‑gram 메모리 모듈과 게이트형 검색 메커니즘을 추가합니다. 기본 모델의 가중치를 직접 수정하는 대신, 트리거 인덱스 시스템을 사용해 특정 메모리를 검색하고 통합합니다.

이 접근 방식은 텍스트와 비전 모두에 확장됩니다:

• LLM(Qwen)용: 디코더 레이어에 전문 지식(예: 바이오메디컬 데이터)을 주입합니다.
• Vision(Stable Diffusion)용: 프롬프트에서 특정 N‑gram을 인식해 Text Encoder에 시각 개념을 주입함으로써, 거대한 U‑Net이나 DiT 백본을 파인튜닝하지 않고도 새로운 주제를 생성할 수 있게 합니다.

Who it’s for

AI 연구자 및 개발자 중 원본 모델의 일반 성능과 파라미터 효율성을 유지하면서 LLM에 전문 도메인 지식을 통합하거나 이미지 생성 모델에 새로운 시각 개념을 추가하고자 하는 분들을 위한 프로젝트입니다.

Highlights

• Resistance to Catastrophic Forgetting: 새로운 도메인에 적응하면서도 일반 능력을 유지해 LoRA보다 뛰어난 성능을 보입니다.
• Multimodal Capability: Stable Diffusion(SD1.5 및 SD3.5)으로 메모리 주입을 성공적으로 확장해 가벼운 개념 주입을 구현합니다.
• Parameter Efficiency: 전체 파인튜닝 없이도 외과 수술처럼 가볍게 모델에 새로운 정보를 "가르칠" 수 있습니다.
• Infinite Composability: 비전 작업에서 메모리 간 간섭이 없으며, 수천 개의 서로 다른 개념을 쌓아도 기본 모델을 저하시키지 않습니다.