HazyResearch/ncm

차세대 개념 모델링 (NCM)

정의 – NCM은 병렬 텍스트 생성을 위한 연구용 프레임워크입니다. 두 단계로 작동합니다:

다중 스케일 잔차 VQ 토크나이저 – 시퀀스를 계층적 이산 코드(거친 → 세밀한)로 변환합니다.
차세대 개념 트랜스포머 – 계층의 각 레벨을 병렬로 예측하므로 레벨당 한 번의 순전파만 필요합니다.

중요성 – 한 레벨의 전체 청크를 한 번에 생성함으로써, NCM은 강력한 확산 기반 모델보다 9-31배 빠르게 고품질 텍스트를 생성할 수 있으며, 요약(XSum), 기계 번역(WMT-14), 언어 모델링(LM1B, TinyStories, OpenWebText) 및 구조적 생성(스도쿠)과 같은 작업에서 그들의 점수를 맞추거나 능가합니다.

주요 특징

거친-세밀한 생성 – 모델은 먼저 대략적인 스케치를 출력한 후, 몇 단계에 걸쳐 이를 정교화합니다.
속도-품질 트레이드오프 – 벤치마크는 벽시계 시간의 일부로 유사한 ROUGE, BLEU, chrF 및 스도쿠 해결률을 보여줍니다.
공개된 체크포인트 – 여러 데이터셋에 대한 사전 훈련된 토크나이저와 생성기가 Hugging Face에 호스팅되어 있습니다.

빠른 시작

# 클론 및 설치
git clone https://github.com/HazyResearch/ncm.git
cd ncm
pip install -r requirements.txt   # Python ≥3.10, CUDA 지원 PyTorch 권장

평가 실행 (XSum 예시)

# 모델 및 데이터 다운로드
hf download hazyresearch/ncm-checkpoints --local-dir artifacts
hf download hazyresearch/ncm-datasets --repo-type dataset --local-dir data

# 생성 및 점수 계산
python evaluate.py \
  --config config/eval/xsum.yaml \
  --checkpoint-dir artifacts/xsum \
  --data-dir data/xsum

분류기-자유 가이던스를 위해 --cfg <scale> 추가 (예: WMT-14에서 --cfg 1.0).

저장소 구조

evaluate.py – 생성 및 메트릭 계산을 위한 진입점.
scripts/ – GPU별 생성 샤드 및 병합 스크립트.
config/eval/ – 각 체크포인트에 대해 제공된 config.yaml을 반영하는 평가 구성.
models/, tokenization/ – 차세대 개념 생성기 및 다중 스케일 VQ 토크나이저 구현.

사용 가능한 모델 (Hugging Face 컬렉션)

작업	모델 변형	토크나이저	생성기	구성
XSum	–	`tokenizer.pt`	`generator.pt`	`config.yaml`
WMT14 De-En	–	`tokenizer.pt`	`generator.pt`	`config.yaml`
스도쿠	쉬움 / 중간 / 어려움	`tokenizer.pt`	`generator.pt`	`config.yaml`
LM1B	소형 / 중형 / 대형	`tokenizer.pt`	`generator.pt`	`config.yaml`
TinyStories, OpenWebText	–	`tokenizer.pt`	`generator.pt`	`config.yaml`

인용

연구에서 NCM을 사용하는 경우, 다음을 인용해 주세요:

@misc{kumbong2026nextconcept,
  title={Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation},
  author={Hermann Kumbong and Ishan S. Khare and Iddah Mlauzi and Andrew Woen and Charles Ding and E. Kelly Buchanan and Simran Arora and Azalia Mirhoseini and Christopher Ré},
  year={2026},
  eprint={2610.14162},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2610.14162}
}

라이선스

MIT – LICENSE 참조.

결론 – NCM은 다양한 작업에 확장 가능한 새롭고 빠르며 병렬적인 텍스트 생성 접근 방식을 제공합니다. 저장소는 보고된 결과를 재현하기 위한 코드, 사전 훈련된 체크포인트 및 평가 스크립트를 포함합니다.