huggingface/huggingface-gemma-recipes

Inference, Fine Tuning and many more recipes with Gemma family of models

解決する課題

このリポジトリは、Gemma モデルファミリーと連携するための最小限で実用的なレシピを提供します。開発者がこれらのモデルを使ってマルチモーダル推論、ファインチューニング、および検索拡張生成(RAG)を実装する際の障壁を低くします。

動作方法

このプロジェクトは、transformers および timm ライブラリを使って Gemma モデルとやり取りする方法を示す Colab ノートブックと Python スクリプトのコレクションで構成されています。具体的なコード例を提供しています:

  • 推論:パイプラインや詳細なプロセッサ設定を使って、テキスト、画像、音声、動画入力をモデルに通す方法。
  • ファインチューニング:Unsloth や TRL などのツールを使って、会話タスク、GUIの位置決め、またはレントゲン画像や音声など特定のモダリティ向けにモデルを調整する方法。
  • RAG:検索拡張生成ワークフローの実装方法。
  • 関数呼び出し:Gemma 3n を使ってローカルファイルの読み取りなどのタスクを実行する方法のデモ。

対象ユーザー

マルチモーダルアプリケーション向けに Gemma ファミリーのモデルを迅速にデプロイまたはカスタマイズしたい開発者や AI リサーチャー。

特徴

  • マルチモーダル対応:テキスト、画像、音声、動画の混合入力処理レシピ。
  • 多様なファインチューニング:会話用チューニング、GUIの位置決め、特定データセット上のマルチモーダルファインチューニングの例。
  • ハードウェアのアクセス性:無料の Colab T4 GPU に最適化されたノートブック。
  • 高度な技術:強化学習(GRPO)や関数呼び出しの例を含む。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト