airbnb/chronon

何を解決するか

Chrononは、AI/MLアプリケーションに必要な複雑なデータパイプラインを簡素化し、特にリアルタイムの特徴量提供を必要とする「オンライン」モデル向けに設計されています。バッチ処理とストリーミングパイプラインの手動オーケストレーションを不要にし、モデルの学習データと本番環境での推論時に使用されるデータに差異が生じる『学習-提供のずれ（training-serving skew）』の問題を解決します。

動作方法

Chrononは抽象化レイヤーとして機能し、ユーザーはGroupByおよびJoin API を使って生データの変換として特徴量を定義します。以降の処理はプラットフォームが自動で処理します：

• 計算：バッチ処理とストリーミング処理を実行し、特徴量を最新の状態に保ちます。
• 提供：KVストア（例：MongoDB）から特徴ベクトルを低遅延で取得するためのAPIを提供します。
• バックフィル：モデルの学習や評価に使用する時系列的に正確な過去データセットを生成し、特定のタイムスタンプにオンラインで提供されていたデータと一致するようにします。
• 一貫性監視：オンラインの取得リクエストをログに記録し、バックフィルされた値と比較して、オンライン/オフラインの一貫性を測定・保証します。

対象ユーザー

リアルタイムAI/MLモデルを構築し、高性能な特徴量提供と学習データと本番データの保証された一貫性を必要とするML実務者およびエンジニア。

主な特徴

• 時系列正確性：バックフィルが時系列的に正確であることを保証することで、ラベル漏洩を防止します。
• 統一された定義：オフライン学習とオンライン提供の両方で同じ特徴量定義を使用できます。
• スケーラブルなバックフィル：広範な時間窓や極端に偏ったデータに対応可能です。
• 可観測性：データの新鮮さやオンライン/オフラインの一貫性を監視するための組み込みツールが備わっています。