4paradigm/OpenMLDB

解決的問題

OpenMLDB 解決了機器學習中離線特徵工程與線上推論之間的差距。它消除了工程團隊需將 Python 程式碼重構為 C++ 或資料庫程式碼以投入生產的需求，解決了資料外洩、特徵回填以及訓練與服務不一致（訓練-服務偏差）等常見問題。

工作原理

OpenMLDB 作為一個特徵平台，實踐「開發即部署」的哲學。它使用 SQL 作為統一的程式語言來定義特徵，這些特徵由兩個專用引擎處理：

• 批次 SQL 引擎： 基於為離線訓練資料產生量身打造的 Spark 分發版本。
• 即時 SQL 引擎： 專為時間序列資料優化之自研引擎，為線上推論提供超低延遲的特徵。

一個統一的執行計畫產生器連結這兩個引擎，確保相同的 SQL 逻辑無論用於訓練或服務，都能產生一致的特徵。

適用對象

需要為生產環境機器學習應用提供即時特徵的資料科學家與 ML 工程師，例如個人化推薦、風險分析與物聯網監控。

主要亮點

• 一致的特徵： 保證離線訓練與線上推論之間的一致性，防止資料外洩。
• 超低延遲： 自研即時引擎可在數毫秒內產生特徵。
• 基於 SQL 定義： 使用擴充 SQL 語法（例如 LAST JOIN、WINDOW UNION）實現更簡單的特徵管理。
• 生產就緒： 支援分散式儲存、故障復原、高可用性以及無縫擴展。