openlit/openlit

Open source platform for AI Engineering: OpenTelemetry-native LLM Observability, GPU Monitoring, Guardrails, Evaluations, Prompt Management, Vault, Playground. 🚀💻 Integrates with 50+ LLM Providers, VectorDBs, Agent Frameworks and GPUs.

解决的问题

OpenLIT 为 AI 工程提供了一个全面的平台，简化了生成式 AI 和 LLM 应用的开发、监控和优化。它解决了在不同模型和框架之间追踪性能、管理成本以及确保 AI 输出质量的难题。

工作原理

OpenLIT 使用 OpenTelemetry 原生 SDK（支持 Python、TypeScript 和 Go）从 AI 应用中收集追踪和指标。这些数据被发送到 OpenTelemetry Collector 并存储在 ClickHouse 中，随后可以在 OpenLIT 控制面板中进行可视化。只需一行代码，即可实现对 50 多个 LLM 提供商、AI 框架和向量数据库的自动插桩。

适用对象

需要全栈可观测性、自动评估和提示词管理，以便能够自信地将 AI 功能从测试迁移到生产环境的 AI 开发人员和工程师。