rinnaによる日本語Stable Diffusionのリリース

TL;DR

rinnaはJapanese Stable Diffusionを発表しました。これは日本語のプロンプトを受け取り、日本文化を反映した画像を生成するようにファインチューニングされたテキスト‑ツー‑イメージモデルで、英語中心のオリジナルStable Diffusionの限界に対処しています。

背景: Stable Diffusion

Stable DiffusionはCompVis、Stability AI、LAIONによって作成され、CLIPテキストエンコーダと潜在拡散モデルを使用してテキストから画像を生成します。主にLAION‑5Bの英語サブセットで学習されているため、英語のプロンプトに最も効果的で、西洋の文化的規範に合致した結果が得られます。モデルは約10 GBのVRAMを持つGPU上で推論を実行し、適度な計算コストで高品質を提供します。

なぜ日本語特化モデルが必要なのか？

オリジナルモデルは英語以外のプロンプトを翻訳する必要があり、日本固有の用語、スラング、オノマトペ、固有名詞を誤解することが頻繁にあります。例えば、日本語の「サラリーマン」は、一般的な英語の "businessman" とは異なる文化的イメージを伝えます。Japanese Stable Diffusionは以下の目的で構築されました：

  • 日本のビジュアルスタイルの画像を生成すること。
  • 日本語に適応した英語単語を正しく理解すること。
  • 日本語のオノマトペを認識すること。
  • 日本語の固有名詞に対応すること。

学習データ

  • 日本語キャプションが付与された約1億枚の画像（LAION‑5Bの日本語サブセットを含む）。
  • 低品質なサンプルは、rinnaが公開したモデル japanese-cloob-vit-b-16 を使用してフィルタリングされ、品質閾値未満の項目は除外されました。

学習手順

日本語データセットはオリジナルモデルで使用された英語データセットの約1/20の規模であるため、rinnaはスクラッチからの学習ではなくStable Diffusionをファインチューニングしました。このプロセスはPITIアプローチ（arXiv:2205.12952）に触発された2段階で実施されました。

ステージ 1 – 日本語特化テキストエンコーダ

  • 潜在拡散モデルは凍結された。
  • 英語のCLIPテキストエンコーダは、日本語用に設計されたsentence‑pieceトークナイザーで学習された日本語エンコーダに置き換えられた。
  • 日本語テキストにCLIPトークナイザーを使用すると、意味不明なバイトレベルトークン（例：['ãĤ', 'µ', …]）が生成されますが、カスタムトークナイザーは ['▁', 'サラリーマン', '▁', '油', '絵'] のような意味のあるトークンを生成します。
  • この段階の後、モデルは日本語プロンプトを解釈できるようになりましたが、依然として西洋風の画像（例：西洋人の顔を持つサラリーマン）を生成していました。

ステージ 2 – テキストエンコーダと潜在拡散モデルの共同ファインチューニング

  • テキストエンコーダと潜在拡散モデルの両方が同時に学習された。
  • この共同ファインチューニングにより、モデルは日本人の顔立ちを持つサラリーマンなど、日本風のイメージを生成できるようになった。

オープンリリース戦略

rinnaは英語以外でもAIを民主化するためにオープンソースの哲学を採用しています。同社はすでにGPT‑1B、BERT‑base、CLIP‑ViT‑B‑16の日本語版をリリースしており、今回Japanese Stable Diffusionをポートフォリオに加えました。すべての資産は公開されています：

制限事項と今後の課題

Japanese Stable Diffusionはオリジナルモデルほど汎用性が高くなく、依然として精度のギャップがあります。rinnaは言語特化モデルの改善を継続し、日本語音声向けの自己教師ありモデルの探索など、多言語AIエコシステムの拡張に取り組む予定です。

Sources