google-deepmind/gemma

Gemma open-weight LLM library, from Google DeepMind

何を解決するか

Geminiの研究と技術に基づいたオープンウェイトの大規模言語モデル（LLM）であるGemmaファミリーを、JAXベースで使用・微調整するための実装を提供します。

動作方法

このプロジェクトは、PyPIパッケージ（gemma）として提供され、JAXを活用してCPU、GPU、TPUで実行できます。マルチターンおよびマルチモーダルな会話処理を可能にするChatSampler APIと、モデルチェックポイントの読み込みおよび微調整のためのツールが含まれています。

対象ユーザー

Gemmaモデルをアプリケーションに統合したり、JAXエコシステムを使って特定のタスク向けに微調整したい開発者や研究者です。

特徴

  • マルチモーダル対応：テキストと画像を含むマルチターン会話に対応。
  • ハードウェアの柔軟性：CPU、GPU、TPUのいずれのハードウェアとも互換性があります。
  • JAX専用ライブラリ：JAXによる高性能ML演算を専用に設計。
  • 微調整サポート：微調整およびLoRA（低ランク適応）の組み込みサポートを備えています。

関連

  • プロジェクト
    AI-Hypercomputer/maxtext

    Google Cloud TPUsおよびGPU上でモデルのトレーニングとポストトレーニングを行うための、JAXで書かれた高性能でスケーラブルなLLMライブラリおよびリファレンス実装。

  • プロジェクト
    google/tunix

    TPUパフォーマンスに特に最適化された、大規模言語モデル（LLMs）の後学習を支援するスケーラブルなJAXベースのライブラリ。教師あり微調整と強化学習の両方をサポート。

  • Dispatch
    Google Gemma オープン LLM リリース

    GoogleはGemmaをリリースしました。Geminiに基づくオープンアクセスの大規模言語モデルファミリーで、2Bと7Bのパラメータサイズがあり、ベースと指示チューニングされたバリアントが提供されます。

  • Dispatch
    Gemma 3 リリースノート / 新機能

    Googleは、1Bから27Bパラメータまでのマルチモーダルかつ多言語対応のオープンウェイトLLMファミリーであるGemma 3をリリースしました。コンテキストウィンドウは最大128kトークンです。

  • プロジェクト
    instadeepai/jumanji

    高速なRL研究と実験のために、JAXで記述された、多様でスケーラブルなハードウェア加速強化学習環境スイート。