combust/mleap

해결하는 문제

기계학습 파이프라인을 배포하는 것은 일반적으로 트레이닝에 사용되는 환경(예: Apache Spark 또는 Scikit-learn)이 무거워서 생산 환경에 포함하기에 비용이 많이 들기 때문에 어려움이 있습니다. MLeap는 이러한 파이프라인을 원래 트레이닝 프레임워크의 종속성 없이 실행할 수 있는 포터블 형식으로 내보내는 방법을 제공합니다.

작동 방식

MLeap는 트레이닝된 파이프라인의 상태를 저장하기 위해 Bundle.ML이라는 직렬화 형식(JSON 및 Protobuf로 사용 가능)을 사용합니다. 내보낸 후에는 경량 MLeap 런타임에서 파이프라인을 실행할 수 있으며, 이 런타임은 Scala로 구현되어 JVM에서 실행됩니다. 이로 인해 스코어링/추론 단계에서 Spark, Scikit-learn, NumPy, Pandas가 필요하지 않습니다.

대상 사용자

Spark 또는 Scikit-learn에서 트레이닝된 기계학습 파이프라인을 성능과 낮은 오버헤드가 요구되는 생산 환경에 배포해야 하는 데이터 과학자 및 엔지니어.

주요 특징

• 프레임워크 독립 실행: Spark 또는 Scikit-learn에서 트레이닝된 파이프라인을 단일 경량 JVM 런타임에서 실행 가능.
• 포터블 형식: 파이프라인 번들용 JSON 및 Protobuf 직렬화를 지원.
• 일치성 테스트: MLeap 파이프라인의 출력이 원래 Spark 파이프라인과 일치함을 보장하는 테스트 포함.
• 확장성: 사용자 정의 트랜스포머 및 데이터 유형의 구현을 허용.
• 광범위한 호환성: Spark, Scala, Java, Python, XGBoost, TensorFlow 등 다양한 버전을 지원.