Helicone/helicone
🧊 Open source LLM observability platform. One line of code to monitor, evaluate, and experiment. YC W23 🍓
What it solves
Helicone 为 AI 工程师提供一个集中式平台，用于监控、管理和优化他们的 LLM 应用。它解决了在多个 AI 提供商之间跟踪成本、延迟和质量的复杂性，以及管理提示词和在不同模型之间路由请求的困难。
How it works
Helicone 充当 AI 网关和可观测性平台。只需在代码中将 baseURL 更新为 Helicone 的网关，即可使用单一 API Key 将请求路由到 100 多个 AI 模型。平台记录所有请求和响应，允许您在仪表盘中检查追踪、会话和指标。它还提供提示词版本管理和部署工具，无需修改代码。
Who it’s for
构建聊天机器人、代理和文档处理流水线的 AI 工程师，需要统一的方式来观察 LLM 使用情况并管理模型路由。
Highlights
- AI Gateway：统一 API，支持 100+ 提供商，具备智能路由和自动回退。
- Observability：详细的追踪和会话跟踪，帮助调试代理和流水线。
- Prompt Management：在不更改代码的情况下使用生产数据进行提示词的版本管理和部署。
- Analytics：成本、延迟和质量的追踪，并可导出到 PostHog。
- Broad Integration：支持广泛的推理提供商（OpenAI、Anthropic、Gemini、Groq 等）和框架（LangChain、LlamaIndex、CrewAI 等）。