xAI Grok-1 공개 릴리스

xAI는 3140억 파라미터의 전문가 집합(Mixture-of-Experts, MoE) 모델인 Grok-1의 기본 모델 가중치와 네트워크 아키텍처를 공개했습니다. 이번 릴리스는 사전 훈련 단계에서의 원시 기반 모델 체크포인트를 제공하며, Apache 2.0 라이선스 하에 개발자와 연구자들이 모델의 기초 기능을 기반으로 새로운 작업을 수행할 수 있도록 합니다.

Grok-1 모델 아키텍처 및 규모

Grok-1은 3140억 파라미터를 갖춘 대규모 전문가 집합 모델입니다. 추론 시 계산 효율성을 극대화하기 위해, 특정 토큰에 대해 모델의 가중치 중 25%만 활성화됩니다.

훈련 사양 및 일정

xAI는 JAX와 Rust 기반의 자체 훈련 스택을 사용하여 Grok-1을 처음부터 훈련했습니다. 이 체크포인트의 사전 훈련 단계는 2023년 10월에 완료되었습니다.

모델 상태 및 라이선스

이번 릴리스는 원시 기반 모델 체크포인트이므로, 대화나 지시어 따르기와 같은 특정 응용 분야에 대해 미세 조정되지 않았습니다. 이는 대량의 텍스트 데이터에 대한 사전 훈련 이후의 모델의 기초 상태를 나타냅니다. 가중치와 아키텍처는 Apache 2.0 라이선스 하에 공개되어 넓은 범위의 사용과 수정이 허용됩니다.

구현 및 접근 방법

Grok-1 모델을 배포하고 사용하기 위한 기술적 지침은 공식 xAI GitHub 저장소인 github.com/xai-org/grok에서 확인할 수 있습니다.