Meesho/BharatMLStack

解決する課題

BharatMLStackは、組織が機械学習モデルをより迅速かつ確実に本番環境へデプロイできるように設計された、本番環境対応のクラウド非依存型MLインフラストラクチャプラットフォームです。数百万件のクエリ（QPS）を処理するためにMLシステムをスケールさせる際の課題に対処しつつ、インフラコストを削減し、ハイパースケーラーのマネージドサービスによるベンダーロックインを回避します。

仕組み

このプラットフォームは、MLライフサイクルの異なる部分を処理する、いくつかの統合されたコンポーネントで構成されています：

• TruffleBox UI: フィーチャレジストリと承認ワークフローを管理するためのWebコンソール。
• Online Feature Store: ストリーミングインジェクションにより、大規模スケールで10ms未満のフィーチャ取得を提供します。
• Inferflow: リアルタイム推論パイプラインのためのDAGベースのオーケストレーションエンジン。
• Numerix: 行列演算用にRustで書かれた高性能数学計算エンジン。
• Skye: プラグイン可能なバックエンドを備えたベクトル類似性検索エンジン。
• Horizon: すべてのサービスをオーケストレートするコントロールプレーン。
• Interaction Store: ユーザーのインタラクション信号用のScyllaDBベースのストア。

対象ユーザー

パブリッククラウド、オンプレミス、またはエッジ環境において、インターネット規模（数百万QPS）でMLモデルを配信する必要がある組織、特にパーソナライズされたランキング、不正検知、LLMを活用したレコメンダーシステムなどのユースケース向けに構築されています。

ハイライト

• 高いパフォーマンス: フィーチャーストアで最大2.4M QPS、モデル推論で1M+ QPSをサポート。
• クラウド非依存: Kubernetesネイティブであり、ベンダーロックインなしでどこでも実行できるように設計されています。
• 経済的効率性: マネージドサービスと比較して、インフラコストを60-70%削減できるとしています。
• 迅速なデプロイ: モデルのオンボーディング時間を95%削減し、実験からデプロイまでのサイクルを3倍に高速化します。