microprediction/timemachines

해결하는 문제

사전에 정의된 유의 수준(알파)과 거의 동일한 수준으로 위험 경보 발생률을 제어하면서 스트리밍 데이터에서 이상을 탐지할 수 있는 방법을 제공합니다. 수동으로 조정된 임계값에 의존하지 않고, 보정된 p-값을 사용하여 위험 경보 발생률이 정해진 수준을 초과하지 않도록 보장합니다.

작동 방식

이 프로젝트는 "몸통과 머리" 아키텍처를 사용합니다. skaters 라이브러리에서 제공하는 "몸통"은 보정된 온라인 예측기로서 원시 데이터 스트림을 표준화된 놀라움(z-점수) 스트림으로 변환합니다. 이는 데이터가 독립적이고 동일한 분포를 따르는 정규 노이즈처럼 행동하는 안정적인 "귀무모델"을 만듭니다.

"머리"는 이러한 놀라움 스트림을 처리하여 결정을 내립니다. 예를 들어, wald 머신은 월드 통계량을 사용하여 보정된 p-값을 출력하여 사용자가 특정 위험 경보 확률에 기반해 알람을 트리거할 수 있도록 합니다. 이는 임의의 임계값이 아닌 확률 기반의 판단을 가능하게 합니다.

대상 사용자

실시간 스트리밍 데이터를 다루는 데이터 과학자 및 엔지니어로서, 수동적인 임계값 조정의 부담이나 높은 위험 경보율의 위험 없이 신뢰할 수 있는 이상 탐지가 필요한 사람들을 위한 것입니다.

주요 특징

• 보정된 오류율: p-값을 사용하여 위험 경보율을 제어합니다 (예: 임계값을 1e-4로 설정하면 위험 경보율은 약 0.01%가 됩니다).
• 일회 처리: 일정한 메모리와 엄격한 인과적 연산을 갖춘 스트리밍 데이터용으로 설계되어, 미래 데이터를 참조하지 않습니다.
• 예측기 우선 접근법: 원시 데이터를 먼저 놀라움 스트림으로 변환함으로써 기존의 이상 탐지기 성능을 향상시킵니다.
• 조합 가능한 아키텍처: 예측 로직(몸통)과 결정 로직(머리)을 분리하여 컴포넌트를 쉽게 교체할 수 있습니다.