microprediction/timemachines

何を解決するか

ストリーミングデータにおける異常を、制御された偽警報率で検出する方法を提供します。手動で調整されたしきい値に頼るのではなく、校正されたp値を使用して、偽警報の発生率が事前に定義された有意水準（alpha）とほぼ等しくなるように保証します。

動作方法

このプロジェクトは「ボディとヘッド」のアーキテクチャを使用しています。skaters ライブラリによって提供される「ボディ」は、校正されたオンライン予測器として機能し、生データストリームを標準化された「驚き」（zスコア）のストリームに変換します。これにより、データが独立同一分布の正規ノイズのように振る舞う安定した「ノルマルモデル」が構築されます。

「ヘッド」はこれらの驚きストリームを処理して判断を行います。たとえば、wald マシンはワルド統計量を使用して校正されたp値を出力し、ユーザーが特定の偽警報確率に基づいてアラームをトリガーできるようにします。これは任意のしきい値ではなく、確率に基づいた判断を可能にします。

対象ユーザー

リアルタイムのストリーミングデータを扱うデータサイエンティストやエンジニアで、手動でのしきい値調整の負担や高偽警報率のリスクなしに信頼性の高い異常検出が必要な人向けです。

特徴

• 校正された誤差率：p値を使用して偽警報率を制御します（例：しきい値を 1e-4 に設定すると、偽警報率は約 0.01% になります）。
• 一回読み込み処理：定常メモリと厳密に因果的な操作を備えたストリーミングデータ向けに設計されており、未来のデータを参照することはありません。
• 予測器最優先アプローチ：生データを最初に驚きストリームに変換することで、既存の異常検出器の性能を向上させます。
• 組み合わせ可能なアーキテクチャ：予測ロジック（ボディ）と判断ロジック（ヘッド）を分離しており、コンポーネントの簡単に交換が可能です。