Firebase Genkit 支援 Ollama

Google 在 Google I/O 2024 上宣布發布 Firebase Genkit，為開發者提供了一個開源框架，用於構建、部署和監控生產級的 AI 驅動應用程式。該框架包含對 Ollama 的原生支援，使開發者能夠在本地機器上運行 Google 的開源 Gemma 模型，進行開發和測試。

使用 Ollama 和 Gemma 進行本地 AI 開發

Firebase Genkit 與 Ollama 集成，允許在本地執行 Google 的 Gemma 模型。這種集成讓開發者在開發階段無需完全依賴雲端 API，即可對 AI 功能進行迭代。該設置支持 MacOS、Windows、Linux 以及透過 Docker 容器進行部署。

技術實現與設置

要將 Ollama 與 Firebase Genkit 集成，開發者必須首先安裝 Genkit CLI 並透過 Ollama 拉取 Gemma 模型。初始化過程包括以下步驟：

1. 安裝：使用 npm i -g genkit 全域安裝 Genkit CLI。
2. 模型獲取：使用命令 ollama pull gemma 下載 Gemma 模型。
3. 專案初始化：創建一個新的 Node.js 專案，運行 npm init，並執行 genkit init 來初始化框架。
4. 提供者選擇：在 genkit init 過程中，開發者可以選擇 Ollama 作為模型提供者。

初始化完成後，Genkit 會在 localhost:4000 上運行，提供開發者介面用於測試和監控 AI 工作流。

生態系統與優化

Firebase Genkit 作為開源專案可在 GitHub 上取得。對於使用 NVIDIA 硬體的開發者，NVIDIA 已專門為 Firebase Genkit 提供優化，使其能在 RTX GPU 上運行，進一步增強了生成式 AI 開發的本地性能。