Meesho/BharatMLStack

해결하는 문제

BharatMLStack은 조직이 머신러닝 모델을 프로덕션 환경에 더 빠르고 안정적으로 배포할 수 있도록 설계된 프로덕션급 클라우드 불가지론적(cloud-agnostic) ML 인프라 플랫폼입니다. 초당 수백만 건의 쿼리(QPS)를 처리하기 위해 ML 시스템을 확장하는 과정에서의 과제를 해결하는 동시에, 인프라 비용을 절감하고 하이퍼스케일러의 관리형 서비스에 대한 벤더 종속성을 방지합니다.

작동 방식

이 플랫폼은 ML 라이프사이클의 다양한 부분을 처리하는 여러 통합 컴포넌트로 구성됩니다:

• TruffleBox UI: 피처 레지스트리 및 승인 워크플로우를 관리하기 위한 웹 콘솔.
• Online Feature Store: 스트리밍 인제스트를 통해 대규모 규모에서 10ms 미만의 피처 검색을 제공합니다.
• Inferflow: 실시간 추론 파이프라인을 위한 DAG 기반 오케스트레이션 엔진.
• Numerix: 행렬 연산을 위해 Rust로 작성된 고성능 수학 계산 엔진.
• Skye: 플러그형 백엔드를 갖춘 벡터 유사성 검색 엔진.
• Horizon: 모든 서비스를 오케스트레이션하는 컨트롤 플레인.
• Interaction Store: 사용자 상호작용 신호를 위한 ScyllaDB 기반 저장소.

대상 사용자

퍼블릭 클라우드, 온프레미스 또는 에지 환경에서 인터넷 규모(수백만 QPS)로 ML 모델을 서비스해야 하는 조직, 특히 개인화된 랭킹, 사기 탐지 및 LLM 기반 추천 시스템과 같은 유스케이스를 위해 구축되었습니다.

주요 특징

• 고성능: 피처 스토어에서 최대 2.4M QPS, 모델 추론에서 1M+ QPS를 지원합니다.
• 클라우드 불가지론적: Kubernetes 네이티브로 설계되어 벤더 종속성 없이 어디서나 실행할 수 있습니다.
• 경제적 효율성: 관리형 서비스 대비 인프라 비용을 60-70% 절감할 수 있다고 주장합니다.
• 신속한 배포: 모델 온보딩 시간을 95% 단축하고 실험에서 배포까지의 주기를 3배 가속화합니다.