BLOOM: 세계 최대의 오픈 다국어 언어 모델

Hugging Face와 BigScience 프로젝트는 1760억 파라미터의 오픈 액세스 다국어 언어 모델인 BLOOM을 공개했습니다. 이번 공개는 학계, 비영리 단체 및 소규모 연구실이 연구하고 활용할 수 있도록 투명하게 학습된 모델을 제공함으로써 대형 언어 모델(LLM)에 대한 접근성을 민주화하는 것을 목표로 합니다.

모델 규모 및 다국어 능력

BLOOM은 다양한 언어를 지원하도록 설계되었으며, 1000억 파라미터를 초과하는 모델 중 처음으로 다수의 언어를 포괄적으로 지원합니다. 1760억 파라미터를 갖추고 있으며, 스페인어, 프랑스어, 아랍어 등을 포함한 46개의 자연어와 13개의 프로그래밍 언어로 텍스트를 생성할 수 있습니다.

협업 개발 및 학습

BLOOM은 70개국 이상, 250개 이상의 기관에서 1,000명 이상의 연구자가 참여한 1년간의 협업 결과물입니다. 최종 학습은 2022년 3월 11일부터 7월 6일까지 프랑스의 Jean Zay 슈퍼컴퓨터에서 117일 동안 진행되었습니다. 이 작업은 프랑스 연구 기관인 CNRS와 GENCI가 제공한 약 ⁀3M 규모의 컴퓨트 지원을 받았습니다.

오픈 액세스 및 책임 있는 AI 라이선스

모델을 연구 및 학습에 쉽게 접근할 수 있도록 BLOOM은 로컬 머신이나 클라우드 제공업체에서 다운로드 및 실행할 수 있습니다. 접근은 BigScience 프로젝트 동안 개발된 Responsible AI License(RAIL)에 따라 관리됩니다.

투명성을 높이기 위해 프로젝트는 학습 과정의 중간 체크포인트와 옵티마이저 상태를 공개했습니다. 고성능 하드웨어(예: 8개의 A100 GPUs)가 없는 사용자를 위해 Google’s TPU 클라우드 기반 추론 API와 모델의 FLAX 버전이 프로토타이핑 및 소규모 사용을 위해 제공됩니다.

향후 개발 로드맵

BLOOM은 단독 출시보다는 모델군의 시작점으로 설계되었습니다. 계획된 개선 및 개발 사항은 다음과 같습니다:

• 모델을 지시 가능하도록 만들기, T0++ 작업을 따라.
• 더 많은 언어 지원 추가.
• 성능을 유지하면서 모델을 보다 활용 가능한 버전으로 압축.
• BLOOM을 기반으로 더 복잡한 아키텍처 구축.