huggingface/huggingface-gemma-recipes

Inference, Fine Tuning and many more recipes with Gemma family of models

解决的问题

本仓库提供了针对 Gemma 模型家族的最小化、实用型配方。它降低了开发者使用这些模型实现多模态推理、微调和检索增强生成（RAG）的门槛。

如何工作

该项目由一系列 Colab 笔记本和 Python 脚本组成，展示了如何使用 transformers 和 timm 库与 Gemma 模型进行交互。提供了以下方面的具体代码示例：

  • 推理：使用管道或详细处理器配置，将文本、图像、音频和视频输入通过模型。
  • 微调：使用 Unsloth 和 TRL 等工具，将模型适配于对话任务、GUI 定位或特定模态（如放射影像或音频）。
  • RAG：实现检索增强生成工作流。
  • 函数调用：演示如何使用 Gemma 3n 执行本地文件读取等任务。

适用人群

希望快速部署或自定义 Gemma 模型家族以用于多模态应用的开发者和 AI 研究人员。

亮点

  • 多模态支持：支持混合文本、图像、音频和视频输入的配方。
  • 多样化的微调：涵盖对话微调、GUI 定位以及特定数据集上的多模态微调示例。
  • 硬件可访问性：笔记本已针对免费的 Colab T4 GPU 优化。
  • 高级技术：包含强化学习（GRPO）和函数调用的示例。

相关

  • 项目
    hassancs91/claude-youtube-editor

    An open-source pipeline that automates YouTube video editing by turning raw talking-head recordings into polished videos with AI-generated visuals, audio cleaning, and automated uploads.

  • 项目
    yuqie6/ProductFlow

    一个开源、自托管的工作空间，专为小型商户设计，利用AI驱动的视觉工作流自动化产品营销素材的创建，包括文案和图像生成。

  • 项目
    horang-labs/tessera

    Tessera is a local desktop/web app that lets you run multiple Claude Code, Codex, or OpenCode AI coding agents in parallel, each in its own isolated Git worktree. It provides a Kanban board, split‑pane UI, chat view for terminals, full Git integration, and mobile remote access, all while using the provider CLIs already installed on your machine.

  • 项目
    ling-kong-ran/pisper

    Pisper is a cross‑platform multi‑agent chat and workflow tool that lets you branch, parallelize, and automate LLM conversations. Built on the open‑source Pi Coding Agent, it offers desktop, terminal, and mobile clients, on‑demand plugins, secure local‑only data storage, and optional LAN/P2P remote linking.