IBM Granite Time Series Models on Confluent

IBM 與 Confluent 已將 IBM Granite Time Series 基礎模型整合至 Confluent Cloud,讓企業能夠直接在串流數據上進行即時預測與異常檢測。此整合消除了為每個數據序列開發客製化模型的必要性,並移除了將數據移至獨立 ML 平台或數據倉庫的需求。

Stream-Native Intelligence with Apache Flink

IBM Granite Time Series 模型現在已於 Confluent Cloud 提供早期存取 (Early Access),並在 Apache Flink 中原生運行。這種架構讓模型可以在數據流動的地方運行,提供多項營運優勢:

  • Zero Configuration: 模型服務、擴展與運行時操作均由 Confluent 管理,使用者可以直接從 Flink SQL 調用模型,無需管理供應商憑證或膠水代碼 (glue code)。
  • Stateful Processing: 由於預測與異常檢測需要近期歷史來定義「正常」行為,Flink 會以容錯方式管理每個序列所需的狀態,消除了每次調用時對獨立數據庫的查詢需求。
  • Built-in Governance: 推論管道遵循與 Confluent 平台其餘部分相同的架構 (schemas)、血緣 (lineage) 與存取控制。Kafka topics 確保結果是持久且可重放的,以便進行審計與模型評估。
  • Cost and Security Efficiency: 原生推論消除了對專用 GPU 基礎設施的需求,並移除了雲端入站/出站費用,同時將數據保留在 Confluent Cloud 的 RBAC 與隱私政策內。

The Time Series Foundation Model Portfolio

IBM 並非僅提供單一模型,而是提供一套包含四種互補基礎模型的組合,旨在滿足不同的決策需求。這些模型可透過 AI_FORECASTAI_DETECT_ANOMALIES Flink SQL 函數進行存取。

Model Specializations

  • PatchTST-FM: 以分塊 (patches) 方式處理序列(類似於 LLM 閱讀文本的方式),每個變量都在其專屬通道中,以防止雜訊訊號影響其他變量。它提供完整的結果分佈,讓規劃者能根據百分位數(例如第 90 百分位數)設定閾值。
  • FlowState: 維持一個隨每個數據點更新的運行摘要。其連續時間動態特性使其能夠處理各種頻率,從秒級的 SCADA 數據到每小時的市場數據。
  • TTM: 在時間與變量之間利用微型混合網絡 (tiny mixing networks) 而非注意力機制 (attention mechanisms)。這使得一個百萬參數的模型能夠在 CPU 上於每晚覆蓋數十萬個序列。
  • TSPulse: 一個小型多任務模型,結合了時間與頻率視角,專門針對異常檢測、分類、缺口填充 (gap-filling) 與相似性搜索(「我們以前見過這個嗎」)進行優化。

Enterprise Application Lanes

此整合專注於四項主要技術能力,旨在縮短業務事件與可執行回應之間的間隔。

Forecasting and Planning

基礎模型允許採用「模型工廠」方法,讓單一共享模型能立即處理未見過的序列。這對於產品目錄中的「尾部」產品特別有效,因為為這些產品建立客製化模型成本過高。透過輸出分佈而非單一線條,這些模型能實現更精確的服務水準政策,減少缺貨並釋放營運資金。

Anomaly Detection

透過為每個實體(例如信用卡或感測器)維持一種「正常」感,模型可以在數據流動過程中對支付或遙測數據進行評分。由於這些是基礎模型,它們能為新產品或資產類型提供首日即有的保護,無需標記過的歷史案例。它們可以在公司自身的串流上持續重新擬合 (refit),以適應不斷演變的欺詐模式或攻擊特徵。

Production Optimization

在工業環境中,這些模型充當模擬器。透過以可控變量(例如溫度、速度)為條件進行預測,工程師可以預測結果並使用優化器來尋找最佳設定點以滿足特定 KPI。IBM 報告指出,這種方法與傳統的客製化建模相比,可帶來 5 倍至 10 倍的生產力提升。

Semantic Intelligence

模型利用嵌入 (embeddings)——捕捉時間與頻率窗口形狀的緊湊向量。這些嵌入讓系統能將當前的串流窗口與過去的片段進行比對,以尋找先例。這使得能夠檢索與類似漂移 (drifts) 相關的歷史修復方案,或識別出相似的欺詐案例,從來在 AI agent 代理人行動之前提供上下文資訊。

Sources