Oodle AI 代理可觀測性上線 – 每百萬個 Trace 僅 $10

Oodle AI 代理可觀測性上線 – 每百萬個 Span 僅 $10

Oodle AI 推出代理可觀測性，價格為 $10 / M span

要點： Oodle AI 現在提供專屬的代理可觀測性服務，將 100 % 的 LLM 代理追蹤資料儲存在基於 S3 的列式儲存中，實現次秒級查詢延遲，且收費為每百萬個 Span 固定 $10 —— 這種成本模型消除了每次查詢的費用，使大規模除錯變得負擔得起。

為什麼快速且低成本的追蹤儲存對 LLM 代理很重要

代理追蹤資料龐大。 每筆追蹤包含提示、工具呼叫的中繼資料以及模型回應，往往每次對話就佔數 MB。傳統 APM 工具難以處理如此大量的資料，導致 搜尋緩慢（需數分鐘）且 儲存成本高。

代理會以非決定性的方式失敗。 靜默的工具錯誤、未完成的工具呼叫鏈，或是「我已完成」的訊息若沒有完整保留追蹤，往往會被忽略。抽樣不足以捕捉這類罕見失敗，因為正是這些失敗最需要被偵測。

Oodle 的解決方案同時針對上述兩個痛點：

  1. 將每個 Span 都儲存 在相容 S3 的物件儲存中，讓資料可保留數月甚至數年，且成本可預測。
  2. 使用列式、無伺服器運算，達成 <1 秒 P99 查詢延遲，把需要數分鐘的調查變成即時查詢。

核心技術特性

1. 列式儲存與無伺服器查詢引擎

"快速搜尋追蹤 – 列式儲存、無伺服器運算 – 在秒內找到追蹤，而非分鐘。"

Oodle 重新編寫了部分儲存引擎（請參考下方的工程部落格），將 Span 以類似 Parquet 的格式儲存，針對讀取密集型工作負載進行最佳化。此設計可實現：

  • 向量化掃描，跳過不相關的欄位，降低 I/O。
  • 彈性擴展，無需預先配置專屬查詢節點。

2. 基於 S3 的平價固定費率

"$10 / 百萬個 Span – 儲存 100 % 的追蹤，同時讓預算保持在可控範圍。"

計價依 寫入的位元組數 與 保留天數 計算。以每月 1.2 TB 的典型工作負載為例，寫入費用為 $360，90 天保留費用為 $2，合計 $362/月，且查詢次數不限。

3. 開箱即用的 AI 洞察

"在你寫任何評估之前，就能偵測使用者挫折感、工具呼叫最佳化與異常。"

內建分析會自動顯示：

  • 錯誤復原失敗（未處理的例外、未完成的工具呼叫）
  • 高時長追蹤（卡住的迴圈、重試風暴）
  • 使用者滿意度低（負面情感分數）
  • 模型成本低效（更便宜的模型替代方案）
  • 快取低效 與 過多的 LLM 回合

這些洞察不需要自行設定規則。

真實案例採用

Oodle 列出多家生產環境客戶，每天處理 超過 300 萬筆代理追蹤，且 不做抽樣。值得關注的案例包括：

  • Fello – 語音 AI 平台，偵測每日數百萬次互動中的靜默失敗。
  • Cureskin、HappyPath、Wisdom AI、Fuel、Lookout、Zaggle、CureFit、Distacart、Workorb、Effective AI、different.ai、Labra、Bedrockdata – 均在產品頁面列為使用 Oodle 進行可觀測性的工程團隊。

"每天 300 萬+ 代理追蹤。零抽樣。捕捉語音 AI 代理的靜默失敗。" – Fello 案例研究

如何快速上手

  1. 使用 OpenTelemetry 進行儀表化 – Oodle 直接消費符合 Generative AI 語意慣例的標準 OTLP 追蹤，無需自訂 SDK。
  2. 將 Span 發送至 Oodle – 把既有的 exporter 指向提供的端點即可。
  3. 在 UI 中探索 – 即時查詢追蹤、觀看對話回放、執行評估管線，並利用 AI 驅動的洞察。

免費方案不需要信用卡，平台承諾 15 分鐘內完成上線。

Hacker News 社群回饋

  • 價格疑慮： 有評論者指出他們目前的供應商每百萬個 Span 僅 $0.75，認為 Oodle 的 $10 / M 「太貴」。
  • 技術好奇： 另一位問為何 Oodle 使用「類似 Parquet」的格式，而不是原生 Parquet。
  • 開發者回應： Oodle 工程師 Vijay Karthik 回覆說，支援代理追蹤迫使他們重新設計儲存引擎，並連結至部落格文章 How We Achieved $10/Million Agent Spans。
  • 正面回應： 使用者讚賞 Oodle 的速度與「最佳 MCP」，並表達想要評估失敗模式的興奮之情。

延伸閱讀

  • 工程部落格： How We Achieved $10/Million Agent Spans – 詳述儲存架構與成本最佳化。
  • 可觀測性部落格： You Can’t Sample Your Way to Reliable Agents – 討論完整保留追蹤的重要性。
  • 架構部落格： How Oodle Keeps Observability Fast at Scale – 探索無伺服器查詢設計。

結論： Oodle AI 的代理可觀測性服務提供一個專為大量 LLM 代理追蹤設計的低成本平台，具備次秒級搜尋與自動失敗偵測，且不需要額外的 APM 工具即可使用。

Sources