Baidu ERNIE 5.5 Flash Base 릴리스 노트
Baidu는 토큰당 14B가 활성화되는 280B 총 파라미터 규모의 희소(sparse) Mixture-of-Experts(MoE) 언어 모델인 ERNIE 5.5 Flash Base를 출시했습니다. 이번 릴리스는 도메인 적응, 지시 튜닝(instruction tuning), 강화 학습 연구에 관심이 있는 개발자들을 위한 기초 베이스라인으로 활용될 수 있도록, 중간 학습이나 사후 학습이 제외된 순수 사전 학습 체크포인트를 제공합니다.
모델 아키텍처 및 효율성
ERNIE 5.5 Flash는 모델 용량과 계산 효율성 간의 균형에 중점을 두고 구축되었습니다. 이 아키텍처는 다음과 같은 몇 가지 특수 구성 요소를 갖춘 43계층 백본을 활용합니다:
- Hybrid Sparse Attention: 이 모델은 Multi-head Latent Attention(MLA)과 Heavily Compressed Attention(HCA)을 혼합하여 사용합니다. 대부분의 계층은 HCA를 사용하여 컨텍스트를 압축하며, 일부 계층은 MLA를 사용하여 전체 컨텍스트에 대한 토큰 수준의 접근성을 유지함으로써 KV-캐시 예산을 최적화합니다.
- Multi-Router Latent MoE: 기존의 단일 라우터 MoE 설계를 대체하여, 이 모델은 독립적으로 초기화된 여러 개의 시그모이드 라우터를 사용합니다. 이러한 접근 방식은 전문가 선택 정확도를 향상시키고 노이즈가 많은 특성에 대한 민감도를 줄입니다.
- ECHO (Efficient Contextual Head Optimization): 표준 Multi-Token Prediction(MTP) 모듈을 대체하는 ECHO는 백본의 마지막 계층을 재사용하여 미래 토큰을 예측함으로써, 보조 모듈의 오버헤드 없이 모델이 시퀀스 진행을 예측하도록 유도합니다.
- Manifold-Constrained Hyper-Connections (mHC): 표준 잔차 연결(residual connections)은 mHC로 대체되었으며, 이는 정보 흐름을 개선하기 위해 4개의 병렬 잔차 스트림에 걸쳐 제약된 혼합 행렬을 사용합니다.
학습 및 데이터
이 모델은 Muon 옵티마이저와 FP8 혼합 정밀도를 사용하여 33.5T 토큰으로 처음부터 학습되었습니다. 학습 파이프라인에는 128K의 컨텍스트 길이가 포함되었으며, 추론 시 최대 1M 토큰까지 지원합니다. 사전 학습 코퍼스는 추론 및 에이전트 워크플로우를 촉진하도록 설계된 고품질 웹 데이터, 저장소 규모의 코드, 긴 컨텍스트 시퀀스를 강조합니다.
Baidu는 이번 릴리스를 위해 두 가지 인프라 구성 요소를 도입했습니다. 대규모 GPU 클러스터를 위해 설계된 Muon 옵티마이저의 분산 버전과, SM90 및 SM100 아키텍처에서 큰 헤드 차원에 최적화된 어텐션 커널인 FlashMask-4입니다.
커뮤니티 반응 및 라이선스
이번 릴리스는 현재 AI 환경에서 베이스 모델의 역할에 대한 논의를 불러일으켰습니다. 릴리스를 지지하는 측은 정렬되지 않은(unaligned) 베이스 모델을 제공하는 것이 탈중앙화된 정렬을 위해 필수적이며, 이를 통해 연구자들이 단일화된 중앙 집중식 접근 방식에 의존하지 않고 다양한 학습 방법론을 추구할 수 있다고 주장합니다.
그러나 일부 커뮤니티 구성원들은 사용에 대한 지리적 제한이 포함된 라이선스 계약에 대해 우려를 제기했습니다. 또한, 일부 개발자들은 이 모델을 DeepSeek-V4-Flash와 같은 기존 오픈 소스 베이스 모델의 강력한 대안으로 보는 반면, 다른 이들은 "ERNIE"라는 브랜드가 더 빠르고 진화하는 최신 모델 제품군에 비해 다소 구식으로 느껴질 수 있다고 지적했습니다.
기술 사양
- 총 파라미터: 280B
- 활성화된 파라미터: 14B
- 컨텍스트 윈도우: 128K (사전 학습), 1M (추론)
- 어휘 사전: ~200K (오른쪽에서 왼쪽으로 읽는 숫자 토큰화가 포함된 BPE)
- 가용성: 이 모델은 Hugging Face에서 FP8 및 BF16 형식으로 제공됩니다.