4paradigm/OpenMLDB

解决的问题

OpenMLDB 解决了机器学习中离线特征工程与在线推理之间的差距。它消除了工程团队将 Python 脚本重构为 C++ 或数据库代码以用于生产的需求，解决了数据泄露、特征回填以及训练与服务不一致（训练-服务偏差）等常见问题。

工作原理

OpenMLDB 作为一个特征平台，实现了 "开发即部署" 的理念。它使用 SQL 作为统一的编程语言来定义特征，这些特征由两个专用引擎处理：

• 批处理 SQL 引擎： 基于为离线训练数据生成量身定制的 Spark 分发版本。
• 实时 SQL 引擎： 专为时间序列数据优化的自研引擎，为在线推理提供超低延迟的特征。

一个统一的执行计划生成器连接这两个引擎，确保相同的 SQL 逻辑无论用于训练还是服务，都能产生一致的特征。

适用人群

需要为生产环境机器学习应用提供实时特征的数据科学家和 ML 工程师，例如个性化推荐、风险分析和物联网监控。

主要亮点

• 一致的特征： 保证离线训练与在线推理之间的一致性，防止数据泄露。
• 超低延迟： 自研实时引擎可在几毫秒内生成特征。
• 基于 SQL 定义： 使用扩展 SQL 语法（例如 LAST JOIN、WINDOW UNION）实现更简单的特征管理。
• 生产就绪： 支持分布式存储、故障恢复、高可用性以及无缝扩展。