openlit/openlit

Open source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers, VectorDBs, Agent Frameworks and GPUs.

解決的問題

OpenLIT 為 AI 工程提供了一個全面的平台，簡化了生成式 AI 和 LLM 應用程式的開發、監控與優化。它解決了在不同模型與框架之間追蹤效能、管理成本以及確保 AI 輸出品質的難題。

工作原理

OpenLIT 使用 OpenTelemetry 原生 SDK（支援 Python、TypeScript 與 Go）從 AI 應用程式中收集追蹤與指標。這些數據會被發送到 OpenTelemetry Collector 並儲存在 ClickHouse 中，隨後可以在 OpenLIT 控制面板中進行視覺化。只需一行程式碼，即可實現對 50 多個 LLM 提供商、AI 框架與向量資料庫的自動插樁。

適用對象

需要全棧可觀測性、自動評估與提示詞管理，以便能夠自信地將 AI 功能從測試遷移到生產環境的 AI 開發人員與工程師。