airbnb/chronon

解决的问题

Chronon 简化了 AI/ML 应用所需的复杂数据管道，特别是需要实时特征服务的「在线」模型。它消除了手动编排批处理和流式处理管道的需要，并解决了「训练-服务偏差」问题，即模型训练所用数据与生产推理时所见数据存在差异。

工作原理

Chronon 作为一个抽象层，用户通过 GroupBy 和 Join API 定义特征为原始数据的转换。平台随后自动处理其余部分：

• 计算：执行批处理和流式计算，以保持特征的最新状态。
• 服务：提供低延迟 API，从 KV 存储（例如 MongoDB）中实时获取特征向量。
• 回填：生成时点准确的历史数据集，用于模型训练和评估，确保回填数据与该特定时间戳在线服务时的数据完全一致。
• 一致性监控：记录在线获取请求，并与回填值进行比较，以衡量并保证在线与离线数据的一致性。

适用人群

构建需要高性能特征服务以及训练与生产数据间保证一致性的实时 AI/ML 模型的 ML 实践者和工程师。

主要亮点

• 时点正确性：通过确保回填数据在时间上准确，防止标签泄漏。
• 统一定义：可使用同一特征定义同时用于离线训练和在线服务。
• 可扩展的回填：支持大时间窗口和高度偏斜的数据。
• 可观测性：内置工具用于监控数据新鲜度和在线/离线一致性。