langwatch/langwatch

The platform for LLM evaluations and AI agent testing

What it solves

LangWatch 为生产环境中的 AI 提供了一个集中的管理平台。它解决了在整个组织中追踪、测试和治理 LLM 调用(包括自定义构建的智能体和工程师使用的第三方编程助手)的难题。

How it works

它作为一个可观测性和治理层,与各种模型提供商、框架(如 LangChain 和 CrewAI)以及编程助手集成。它提供了一个 AI Gateway,为多个提供商提供单一的兼容端点,并提供用于模拟测试和成本追踪的工具。

Who it’s for

构建 AI 智能体的开发者以及需要监控、预算管理和治理其团队中使用 AI 工具的企业。

Highlights

  • LLM Ops: 包括可观测性、智能体测试、评估和提示词管理。
  • Coding Agent Tracking: 监控会话并计算每个 pull request 的成本。
  • AI Gateway: 为 OpenAI 和 Anthropic 兼容的端点提供带有预算和路由功能的虚拟密钥。
  • AI Governance: 追踪全公司的 AI 工具使用情况并识别未使用的订阅。
  • Broad Integration: 支持广泛的框架、无代码平台和模型提供商。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目