feast-dev/feast

解决的问题

Feast 提供了一种集中式管理机器学习特征的方法，弥合了离线训练数据与在线服务数据之间的差距。它通过确保时序正确性来防止训练过程中的数据泄露，并消除了机器学习团队为每个新模型重新构建复杂数据检索逻辑的需要。

工作原理

Feast 作为一个数据访问层，将机器学习模型与底层数据基础设施解耦。它管理三个主要组件：

• 离线存储：处理历史数据，用于批量评分或模型训练。
• 在线存储：低延迟存储系统，用于实时预测。
• 特征服务器：经过实战验证的服务器，将预计算的特征在线提供给模型。

用户在仓库中定义特征，并使用 Feast SDK 获取历史特征用于训练数据集，或获取在线特征用于实时推理。

适用人群

需要在各种云提供商（AWS、GCP、Snowflake）和数据源上将分析数据用于模型训练和在线推理的机器学习平台团队和数据科学家。

主要亮点

• 时序正确性：通过生成正确的历史特征集来防止数据泄露。
• 广泛集成：支持大量离线和在线存储，包括 Redis、DynamoDB、BigQuery、Snowflake，以及 Qdrant 和 Milvus 等向量存储。
• 跨平台服务：提供 Python、Go 和 Java 版本的特征服务器。
• 特征工程：支持按需和流式转换。
• 数据质量：内置指标、漂移检测和服务日志监控。