combust/mleap

해결하는 문제

머신러닝 파이프라인을 배포하는 것은 종종 시간이 많이 들고 어렵습니다. 왜냐하면 Apache Spark 또는 Scikit-learn 같은 프레임워크에서 훈련된 파이프라인은 일반적으로 생산 환경에서 실행되기 위해 전체적인 무거운 종속성(예: SparkContext 또는 pandas)을 필요로 하기 때문입니다. MLeap는 이러한 파이프라인을 이동 가능하고 가벼운 형식으로 내보내는 방법을 제공하여 원래의 트레이닝 시 종속성 없이 실행할 수 있게 합니다.

작동 방식

MLeap는 Bundle.ML이라는 직렬화 형식과 Scala로 구현된 고성능 실행 엔진을 도입합니다. 데이터 과학자들은 Spark 또는 Scikit-learn에서 파이프라인을 훈련한 후, MLeap의 직렬화 도구를 한 번만 사용해 내보낸 다음, JVM에서 경량의 MLeap Runtime에서 실행할 수 있습니다. 이로써 스코어링 단계에서 원래의 트레이닝 프레임워크에 대한 종속성이 제거됩니다.

대상 사용자

Spark 또는 Scikit-learn에서 파이프라인을 훈련한 데이터 과학자와 엔지니어로서, 경량이고 고성능의 실행 엔진이 필요한 생산 환경에 머신러닝 파이프라인을 배포해야 하는 경우.

주요 특징

• 프레임워크 독립 실행: Spark, sklearn, numpy, pandas가 필요 없이 JVM에서 Spark 또는 Scikit-learn으로 훈련된 파이프라인을 실행할 수 있습니다.
• 이동 가능한 형식: 직렬화를 위해 JSON과 Protobuf를 지원합니다.
• 일치성 테스트: Spark와 MLeap 파이프라인 간 일관성을 보장하기 위한 완전한 일치성 테스트를 포함합니다.
• 확장 가능: 사용자 정의 변환기와 데이터 유형을 구현할 수 있습니다.
• 광범위한 호환성: 다양한 버전의 Spark, Scala, Java, Python을 지원하며, XGBoost 및 TensorFlow와의 통합도 포함합니다.

"MLeap는 머신러닝 파이프라인을 생산 환경에 배포할 때 기존 프레임워크의 무거운 종속성을 제거하는 강력한 솔루션입니다." — @mleap-dev