microprediction/timemachines

Temporal online machines: streaming anomaly detection with calibrated p-values, built on skaters

解決的問題

提供一種在即時資料流中以受控的誤報率檢測異常的方法。不依賴手動調整的門檻值,而是使用校正後的 p 值,確保誤報率大致等於預先定義的顯著性水準(alpha)。

工作原理

此專案採用「主體與頭部」架構。由 skaters 套件提供的「主體」作為校正的即時預測器,將原始資料流轉換為標準化的「驚訝」流(z 分數)。這創造了一個穩定的「零模型」,其中資料表現得如同獨立同分佈的常態雜訊。

「頭部」則處理這些驚訝流以做出決策。例如,wald 機器使用華德統計量輸出校正後的 p 值,讓使用者能根據特定的誤報機率觸發警報,而非依賴任意的門檻值。

適用對象

需要在即時資料流中實現可靠異常檢測,但又不願承擔手動調整門檻值或高誤報率風險的資料科學家與工程師。

特色

  • 校正的錯誤率:使用 p 值控制誤報率(例如,設定門檻值為 1e-4 時,誤報率約為 0.01%)。
  • 單次遍歷處理:專為即時資料設計,具備固定記憶體與嚴格因果運算,表示從不查看未來資料。
  • 預測器優先方法:透過先將原始資料轉換為驚訝流,可提升其他現有異常檢測器的效能。
  • 可組合架構:將預測邏輯(主體)與決策邏輯(頭部)分離,便於元件的輕鬆替換。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • 專案