combust/mleap

它解决了什么问题

部署机器学习流水线通常耗时且困难，因为使用 Apache Spark 或 Scikit-learn 等框架训练的流水线在生产环境中运行时，通常需要其完整的、重量级依赖项（如 SparkContext 或 pandas）。MLeap 提供了一种将这些流水线导出为可移植、轻量级格式的方法，使其无需原始训练时的依赖项即可执行。

它如何工作

MLeap 引入了一种名为 Bundle.ML 的序列化格式，以及一个用 Scala 实现的高性能执行引擎。数据科学家可以在 Spark 或 Scikit-learn 中训练流水线，使用 MLeap 的序列化工具一次性导出，然后在 JVM 上的轻量级 MLeap Runtime 中运行。这消除了评分阶段对原始训练框架的依赖。

适用于谁

需要将 Spark 或 Scikit-learn 的机器学习流水线部署到生产环境中的数据科学家和工程师，尤其是在需要轻量级、高性能执行引擎的场景下。

主要特性

• 框架无关执行：无需 Spark、sklearn、numpy 或 pandas，即可在 JVM 上运行 Spark 或 Scikit-learn 训练的流水线。
• 可移植格式：支持 JSON 和 Protobuf 进行序列化。
• 一致性测试：包含完整的兼容性测试，确保 Spark 和 MLeap 流水线之间的一致性。
• 可扩展性：支持自定义转换器和数据类型的实现。
• 广泛兼容性：支持多种版本的 Spark、Scala、Java 和 Python，包括与 XGBoost 和 TensorFlow 的集成。