huggingface/huggingface-gemma-recipes

Inference, Fine Tuning and many more recipes with Gemma family of models

解決的問題

本儲存庫提供針對 Gemma 模型家族的最小化、實用性配方。它降低了開發者使用這些模型實現多模態推論、微調與檢索增強生成(RAG)的門檻。

如何運作

此專案由一系列 Colab 筆記本與 Python 程式碼組成,展示如何使用 transformerstimm 套件與 Gemma 模型互動。提供以下具體程式碼範例:

  • 推論:使用管道或詳細處理器設定,將文字、影像、音訊與影片輸入透過模型。
  • 微調:使用 Unsloth 與 TRL 等工具,將模型適應於對話任務、GUI 定位或特定模態(如放射影像或音訊)。
  • RAG:實作檢索增強生成工作流程。
  • 函式呼叫:示範如何使用 Gemma 3n 執行讀取本機檔案等任務。

適用對象

希望快速部署或自訂 Gemma 模型家族以應用於多模態情境的開發者與 AI 研究人員。

特色

  • 多模態支援:提供混合文字、影像、音訊與影片輸入的處理配方。
  • 多樣化微調:包含對話微調、GUI 定位,以及特定資料集上的多模態微調範例。
  • 硬體可存取性:筆記本已針對免費的 Colab T4 GPU 優化。
  • 進階技術:包含強化學習(GRPO)與函式呼叫的範例。

相關

  • 專案
  • 專案
  • 專案
  • 專案