BLOOM: 世界最大のオープンマルチリンガル言語モデル

Hugging Face と BigScience プロジェクトは、1760 億パラメータのオープンアクセスマルチリンガル言語モデル BLOOM をリリースしました。このリリースは、透明にトレーニングされたモデルを提供することで、学術機関、非営利団体、そして小規模な研究ラボが研究・活用できるようにし、大規模言語モデル（LLM）へのアクセスを民主化することを目的としています。

モデル規模とマルチリンガル機能

BLOOM は幅広い言語をサポートするよう設計されており、1000 億パラメータを超えるモデルとしては初めて、対象とする多くの言語をカバーしています。1760 億パラメータを持ち、スペイン語、フランス語、アラビア語など、46 の自然言語と 13 のプログラミング言語でテキストを生成できます。

共同開発とトレーニング

BLOOM は、70 カ国以上、250 以上の機関から参加した 1,000 人以上の研究者による 1 年にわたる共同作業の成果です。最終的なトレーニングは、2022 年 3 月 11 日から 7 月 6 日までの 117 日間、フランスの Jean Zay スーパコンピュータ上で実施されました。この取り組みは、フランスの研究機関 CNRS と GENCI からの約 300 万ユーロ（⁀3M）相当の計算資金助成に支えられました。

オープンアクセスと Responsible AI ライセンス

研究・学習のためにモデルへのアクセスを確保するため、BLOOM はローカルマシンやクラウドプロバイダーでダウンロードおよび実行できる形で提供されています。アクセスは、BigScience プロジェクトで策定された Responsible AI License（RAIL）に基づいて管理されています。

透明性をさらに高めるため、プロジェクトはトレーニング過程の中間チェックポイントとオプティマイザ状態も公開しています。高性能ハードウェア（例：8 台の A100 GPU）を持たないユーザー向けに、Google の TPU クラウドをバックエンドとした推論 API と、FLAX 版モデルが提供されており、プロトタイピングや小規模利用に利用できます。

今後の開発ロードマップ

BLOOM は単独のリリースではなく、モデル群の出発点として位置付けられています。計画されている改善・開発は以下の通りです。

• モデルを指示可能（instruction-following）にすること（T0++ の取り組みを踏襲）。
• さらなる言語のサポートを追加。
• パフォーマンスを維持しつつ、より使いやすい形にモデルを圧縮。
• BLOOM を基盤として、より複雑なアーキテクチャを構築。