Ollama 지원을 포함한 Firebase Genkit

Google는 Google I/O 2024에서 Firebase Genkit의 출시를 발표하며, 개발자들에게 프로덕션 수준의 AI 기반 애플리케이션을 구축, 배포 및 모니터링할 수 있는 오픈 소스 프레임워크를 제공합니다. 이 프레임워크는 Ollama에 대한 네이티브 지원을 포함하고 있어, 개발자가 개발 및 테스트를 위해 로컬 머신에서 Google의 오픈 소스 Gemma 모델을 실행할 수 있도록 합니다.

Local AI Development with Ollama and Gemma

Firebase Genkit은 Ollama와 통합되어 Google의 Gemma 모델을 로컬에서 실행할 수 있도록 합니다. 이러한 통합을 통해 개발자는 개발 단계에서 클라우드 기반 API에만 전적으로 의존하지 않고 AI 기능을 반복적으로 개선할 수 있습니다. 설정은 MacOS, Windows, Linux 및 Docker 컨테이너를 통해 지원됩니다.

Technical Implementation and Setup

Ollama를 Firebase Genkit과 통합하려면 개발자는 먼저 Genkit CLI를 설치하고 Ollama를 통해 Gemma 모델을 가져와야 합니다. 초기화 프로세스는 다음 단계를 포함합니다:

1. Installation: npm i -g genkit를 사용하여 Genkit CLI를 전역으로 설치합니다.
2. Model Acquisition: ollama pull gemma 명령어를 사용하여 Gemma 모델을을 다운로드합니다.
3. Project Initialization: 새로운 Node.js 프로젝트를 생성하고, npm init을 실행한 후, genkit init을 실행하여 프레임워크를 초기화합니다.
4. Provider Selection: genkit init 프로세스 중에 개발자는 모델 제공자로 Ollama를 선택할 수 있습니다.

초기화가 완료되면 Genkit은 localhost:4000에서 실행되며, AI 워크플로우를 테스트하고 모니터링할 수 있는 개발자 인터페이스를 제공합니다.

Ecosystem and Optimizations

Firebase Genkit은 GitHub에서 오픈 소스 프로젝트로 제공됩니다. NVIDIA 하드웨어를 사용하는 개발자를 위해, NVIDIA는 생성형 AI 개발을 위한 로컬 성능을 더욱 향상시키기 위해 Firebase Genkit이 RTX GPU에서 실행되도록 하는 특정 최적화를 제공했습니다.