foglamp-labs/foglamp

解决的问题

Foglamp 为 Vercel AI SDK 提供专用的可观测性层。通过可视化复杂多步骤代理工作流中发送给模型的精确提示和响应、实际成本、延迟时间、令牌使用量，解决了 AI 代理的「黑箱」问题。

如何工作

Foglamp 通过一个遥测收集器集成到 TypeScript 应用中。调用 registerTelemetry(foglamp()) 后，它会自动追踪每次 generateText 和 streamText 的调用。

该系统由三个主要组件构成：

• SDK：客户端库，用于捕获跨度（如 LLM 步骤或工具调用等单位工作）和追踪（顶层调用）。
• 摄入 API：一个写入密集型服务，负责认证请求，使用 OpenRouter 定价在摄入时计算成本，并将数据批量插入 ClickHouse。
• 仪表板：一个基于 Next.js 的 Web 应用，从 ClickHouse 和 Postgres 读取数据，展示性能指标、瀑布式追踪视图和成本分解。

适用人群

使用 TypeScript 和 Vercel AI SDK（版本 4 到 7）并需要监控其 AI 代理在生产环境中的性能和财务成本的开发者。

主要亮点

• 详细成本追踪：按令牌维度（提示、完成、缓存等）计算成本，并支持自定义价格覆盖。
• 分布式追踪：提供代理步骤和工具调用的瀑布视图，包含每个跨度的精确输入和输出。
• 性能监控：追踪 p50/p95/p99 延迟和首次令牌时间（TTFT）。
• 可自托管：可通过 Docker Compose 使用 Postgres、ClickHouse 和 Redis 完全部署。
• 集成告警：基于阈值的成本、延迟、错误率和令牌使用量的邮件通知。