支持 Ollama 的 Firebase Genkit

Google 在 Google I/O 2024 上宣布发布 Firebase Genkit,为开发者提供了一个开源框架,用于构建、部署和监控生产级的 AI 驱动应用。该框架包含对 Ollama 的原生支持,使开发者能够在本地机器上运行 Google 的开源 Gemma 模型进行开发和测试。

使用 Ollama 和 Gemma 进行本地 AI 开发

Firebase Genkit 与 Ollama 集成,允许在本地执行 Google 的 Gemma 模型。这种集成允许开发者在开发阶段无需完全依赖云端 API 即可迭代 AI 功能。该设置支持 MacOS、Windows、Linux 以及通过 Docker 容器运行。

技术实现与设置

要将 Ollama 与 Firebase Genkit 集成,开发者必须首先安装 Genkit CLI 并通过 Ollama 拉取 Gemma 模型。初始化过程包括以下步骤:

  1. 安装:使用 npm i -g genkit 全局安装 Genkit CLI。
  2. 模型获取:使用命令 ollama pull gemma 下载 Gemma 模型。
  3. 项目初始化:创建一个新的 Node.js 项目,运行 npm init,然后执行 genkit init 来初始化框架。
  4. Provider 选择:在 genkit init 过程中,开发者可以选择 Ollama 作为模型提供商。

初始化完成后,Genkit 将在 localhost:4000 上运行,为测试和监控 AI 工作流提供开发者界面。

生态系统与优化

Firebase Genkit 是 GitHub 上的一个开源项目。对于使用 NVIDIA 硬件的开发者,NVIDIA 已经专门为 Firebase Genkit 提供了优化,使其能够在 RTX GPU 上运行,从而进一步增强了生成式 AI 开发的本地性能。

Sources

相关

  • 项目
  • Dispatch
  • Dispatch
  • 项目
  • Dispatch