Meesho/BharatMLStack

解决的问题

BharatMLStack 是一个面向生产环境的、云无关的机器学习 (ML) 基础设施平台，旨在帮助组织更快、更可靠地将机器学习模型部署到生产环境。它解决了在扩展 ML 系统以处理每秒数百万次查询 (QPS) 时面临的挑战，同时降低了基础设施成本，并避免了对超大规模云厂商托管服务的供应商锁定。

工作原理

该平台由处理机器学习生命周期不同部分的多个集成组件组成：

• TruffleBox UI：用于管理特征注册表和审批工作流的 Web 控制台。
• Online Feature Store：通过流式摄取，在大规模规模下提供低于 10ms 的特征检索。
• Inferflow：用于实时推理流水线的基于 DAG 的编排引擎。
• Numerix：使用 Rust 编写的高性能矩阵运算数学计算引擎。
• Skye：具有可插拔后端的向量相似性搜索引擎。
• Horizon：编排所有服务的控制平面。
• Interaction Store：基于 ScyllaDB 的用户交互信号存储。

适用对象

专为需要在公共云、本地或边缘环境中以互联网规模（数百万 QPS）提供 ML 模型服务的组织而构建，特别适用于个性化排序、欺诈检测和 LLM 驱动的推荐系统等用例。

亮点

• 高性能：特征存储支持高达 2.4M QPS，模型推理支持 1M+ QPS。
• 云无关：原生支持 Kubernetes，设计用于在任何地方运行，无供应商锁定。
• 经济高效：据称与托管服务相比，可降低 60-70% 的基础设施成本。
• 快速部署：将模型上线时间缩短 95%，并将从实验到部署的周期加快 3 倍。