microprediction/timemachines

Temporal online machines: streaming anomaly detection with calibrated p-values, built on skaters

解决的问题

提供一种在流式数据中以可控的误报率检测异常的方法。不依赖手动调优的阈值,而是使用校准后的 p 值,确保误报率大致等于预定义的显著性水平(alpha)。

工作原理

该项目采用“主体与头部”架构。由 skaters 库提供的“主体”充当校准的在线预测器,将原始数据流转换为标准化的“意外”流(z 分数)。这创建了一个稳定的“零模型”,其中数据表现得如同独立同分布的正态噪声。

“头部”则处理这些意外流以做出决策。例如,wald 机器使用沃尔德统计量输出校准后的 p 值,使用户可以根据特定的误报概率触发警报,而非依赖任意的阈值。

适用人群

需要在实时流式数据中实现可靠异常检测,但又不想承担手动调优阈值或高误报率风险的数据科学家和工程师。

特点

  • 校准的错误率:使用 p 值控制误报率(例如,设置阈值为 1e-4 时,误报率约为 0.01%)。
  • 单次遍历处理:专为流式数据设计,具有恒定内存和严格因果操作,意味着从不查看未来数据。
  • 预测器优先方法:通过首先将原始数据转换为意外流,可提升其他现有异常检测器的性能。
  • 可组合架构:将预测逻辑(主体)与决策逻辑(头部)分离,便于组件的轻松替换。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • 项目