EmbeddingGemma 2 发布说明

Google DeepMind 已推出 EmbeddingGemma 2，这是一个轻量级的多模态嵌入模型，可将文本、图像、音频和视频映射到统一的嵌入空间。该模型专为设备端推理设计，可在消费级硬件上实现以隐私为中心的检索增强生成（RAG）和跨模态语义搜索。

技术架构与效率

EmbeddingGemma 2 基于 Gemma 4 架构，并采用 Apache 2.0 许可证发布。其完整配置包含 7.4 亿个参数，但通过模块化设计，可根据工作负载优化资源消耗：

  • 模块化参数分布： 仅处理文本的工作负载仅需 2.7 亿个参数。通过添加可选的视觉编码器（1.7 亿参数）和音频编码器（3 亿参数），即可实现完整的多模态支持。
  • 通过 MRL 实现存储优化： 该模型采用套娃表示学习（MRL），允许开发者将输出向量从 768 维缩减至 512、256 或 128 维。这可使内存使用量和本地向量数据库存储最多减少 6 倍。
  • 设备端内存占用： 在 Google Pixel 11 Pro 上量化并运行时，仅文本权重的活跃 RAM 约为 191MB，完整多模态模型则需约 567MB。

功能与性能

EmbeddingGemma 2 为多种模态提供统一的嵌入空间，使用户能够执行诸如通过文本查询搜索音频记录或从语音备忘录中查找特定视频片段等任务。

基准测试与质量

EmbeddingGemma 2 在参数少于 10 亿的多模态嵌入模型中表现领先。关键性能指标包括：

  • 代码性能： 在 MTEB Code 基准测试中，模型得分提升了 9.92 分，从 EmbeddingGemma 1 的 68.76 提升至 78.68。
  • 通用性能： 在文本、视觉和音频任务中，其表现与许多更大模型相当或更优，为参数量低于 10 亿的模型树立了新的“每参数质量”标准。

上下文窗口

该模型具有 8K 标记的上下文窗口，是 EmbeddingGemma 第一版的四倍。这一扩展的窗口使模型能够直接在本地硬件上处理以下内容：

  • 最多 5.5 分钟的音频。
  • 最多 29 张图像。
  • 最多 58 帧视频。
  • 以上模态的交错组合。

集成与部署

由于 EmbeddingGemma 2 与 Gemma 4 共享文本分词器和音频编码器，因此可与 Gemma 4 生成模型集成到统一管道中，从而降低设备端 RAG 的整体内存占用。

部署工具

EmbeddingGemma 2 支持多个平台和框架：

  • 模型权重： 可在 Hugging Face 和 Kaggle 上获取。
  • 设备端框架： Google AI Edge MediaPipe 和 LiteRT。
  • Web 部署： transformers.js 和 WebGPU。
  • 服务堆栈： transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama 和 LMStudio。
  • 向量存储： Qdrant。
  • 微调： 通过 Unsloth 提供指导。

Sources