Meesho/BharatMLStack

解決的問題

BharatMLStack 是一個面向生產環境的、雲端無關的機器學習 (ML) 基礎設施平台，旨在幫助組織更快速、更可靠地將機器學習模型部署到生產環境。它解決了在擴展 ML 系統以處理每秒數百萬次查詢 (QPS) 時所面臨的挑戰，同時降低了基礎設施成本，並避免了對超大規模雲端供應商託管服務的供應商鎖定。

工作原理

該平台由處理機器學習生命週期不同部分的數個整合組件組成：

• TruffleBox UI：用於管理特徵註冊表和審核工作流的 Web 控制台。
• Online Feature Store：透過串流攝取，在大規模規模下提供低於 10ms 的特徵檢索。
• Inferflow：用於實時推理流水線的基於 DAG 的編排引擎。
• Numerix：使用 Rust 編寫的高性能矩陣運算數學計算引擎。
• Skye：具有可插入式後端的向量相似性搜尋引擎。
• Horizon：編排所有服務的控制平面。
• Interaction Store：基於 ScyllaDB 的使用者互動訊號儲存。

適用對象

專為需要在公共雲、地端或邊緣環境中以網際網路規模（數百萬 QPS）提供 ML 模型服務的組織而建，特別適用於個性化排序、欺詐檢測和 LLM 驅動的推薦系統等用例。

亮點

• 高性能：特徵儲存支援高達 2.4M QPS，模型推理支援 1M+ QPS。
• 雲端無關：Kubernetes 原生設計，可在任何地方運行，無供應商鎖定。
• 經濟高效：據稱與託管服務相比，可降低 60-70% 的基礎設施成本。
• 快速部署：將模型上線時間縮短 95%，並將從實驗到部署的週期加快 3 倍。