支持 Ollama 的 Firebase Genkit
Google 在 Google I/O 2024 上宣布发布 Firebase Genkit,为开发者提供了一个开源框架,用于构建、部署和监控生产级的 AI 驱动应用。该框架包含对 Ollama 的原生支持,使开发者能够在本地机器上运行 Google 的开源 Gemma 模型进行开发和测试。
使用 Ollama 和 Gemma 进行本地 AI 开发
Firebase Genkit 与 Ollama 集成,允许在本地执行 Google 的 Gemma 模型。这种集成允许开发者在开发阶段无需完全依赖云端 API 即可迭代 AI 功能。该设置支持 MacOS、Windows、Linux 以及通过 Docker 容器运行。
技术实现与设置
要将 Ollama 与 Firebase Genkit 集成,开发者必须首先安装 Genkit CLI 并通过 Ollama 拉取 Gemma 模型。初始化过程包括以下步骤:
- 安装:使用
npm i -g genkit全局安装 Genkit CLI。 - 模型获取:使用命令
ollama pull gemma下载 Gemma 模型。 - 项目初始化:创建一个新的 Node.js 项目,运行
npm init,然后执行genkit init来初始化框架。 - Provider 选择:在
genkit init过程中,开发者可以选择 Ollama 作为模型提供商。
初始化完成后,Genkit 将在 localhost:4000 上运行,为测试和监控 AI 工作流提供开发者界面。
生态系统与优化
Firebase Genkit 是 GitHub 上的一个开源项目。对于使用 NVIDIA 硬件的开发者,NVIDIA 已经专门为 Firebase Genkit 提供了优化,使其能够在 RTX GPU 上运行,从而进一步增强了生成式 AI 开发的本地性能。
Sources
相关
- 项目
- Dispatch
- Dispatch
- 项目
- Dispatch