airbnb/chronon

해결하는 문제

Chronon은 AI/ML 애플리케이션에 필요한 복잡한 데이터 파이프라인을 단순화하며, 특히 실시간 특징 제공이 필요한 '온라인' 모델을 위한 것입니다. 배치 및 스트리밍 파이프라인의 수동 조율이 필요 없으며, 모델 학습에 사용된 데이터와 실제 운영 중 추론 시에 사용되는 데이터 간의 차이를 초래하는 '학습-제공 편차(Training-Serving Skew)' 문제를 해결합니다.

작동 방식

Chronon은 사용자가 GroupBy 및 Join API를 사용해 원시 데이터의 변환으로 특징을 정의하는 추상화 계층으로 작동합니다. 플랫폼은 이후 모든 작업을 자동으로 처리합니다:

• 계산: 배치 및 스트리밍 계산을 수행하여 특징을 최신 상태로 유지합니다.
• 제공: KV 저장소(예: MongoDB)에서 특징 벡터를 저지연으로 가져올 수 있는 API를 제공합니다.
• 백필: 모델 학습 및 평가를 위한 시점 기반 정확한 과거 데이터셋을 생성하여, 특정 타임스탬프에 온라인으로 제공되었을 데이터와 일치하도록 보장합니다.
• 일관성 모니터링: 온라인 조회 요청을 로그로 기록하고, 백필된 값과 비교하여 온라인/오프라인 일관성을 측정하고 보장합니다.

대상 사용자

실시간 AI/ML 모델을 구축하고 있으며, 고성능 특징 제공과 학습 데이터 및 운영 데이터 간의 보장된 일관성을 필요로 하는 ML 전문가 및 엔지니어입니다.

주요 특징

• 시점 정확성: 백필이 시간적으로 정확하도록 보장하여 레이블 누출을 방지합니다.
• 통합 정의: 오프라인 학습과 온라인 제공에 동일한 특징 정의를 사용할 수 있습니다.
• 확장 가능한 백필: 큰 시간 창과 극단적으로 편향된 데이터를 처리할 수 있습니다.
• 관측성: 데이터 신선도 및 온라인/오프라인 일관성을 모니터링할 수 있는 내장 도구가 있습니다.