pezzo：一個雲原生 LLMOps 平台，用於管理提示詞與監控 AI 運營

它解決了什麼問題

Pezzo 提供一個集中式平台，管理 LLM 驅動應用程式的全生命週期。它解決了在程式碼庫中硬編碼提示詞的常見困境，避免了必須重新部署程式碼才能更新提示詞的情況，亦消除對提示詞在生產環境中表現缺乏可見性的問題。

工作原理

它作為 LLMOps 平台，透過客戶端（Node.js、Python 與 LangChain）與您的應用程式整合。平台提供集中式控制台，用於提示詞管理、可觀測性以及快取，以降低成本與延遲。

目標對象

需要管理、監控與優化提示詞與 AI 運營，且不想頻繁進行程式碼部署的開發者與團隊。

重點特色

• 提示詞管理：在單一位置管理與更新提示詞，變更即時生效。
• 可觀測性：監控與排除 AI 運營問題，快速定位故障。
• 快取：透過內建快取將成本與延遲降低最高 90%。
• 雲原生堆疊：基於開源技術構建，包括 PostgreSQL、ClickHouse、Redis 與 Supertokens。