microsoft/SynapseML

Simple and Distributed Machine Learning

What it solves

SynapseML 简化了大规模机器学习流水线的创建。它允许用户构建智能系统，处理文本分析、计算机视觉和异常检测等任务，并且可以从单节点无缝扩展到弹性可调的集群，而不会浪费资源。

How it works

基于 Apache Spark 分布式计算框架构建，SynapseML 提供可组合且分布式的 API，使用与 SparkML/MLLib 相同的接口。这使得它能够无缝嵌入现有的 Spark 工作流。它抽象了各种数据库、文件系统和云数据存储，并支持多种语言，包括 Python、R、Scala、Java 和 .NET。

Who it’s for

需要使用 Apache Spark 在大规模分布式集群上扩展机器学习工作流的数据科学家和 ML 工程师。

Highlights

  • Distributed ML Algorithms: 包含在 Spark 上实现的 Vowpal Wabbit、LightGBM 和 Isolation Forest。
  • AI Service Integration: 利用 Microsoft Cognitive Services 在大数据规模下提供 AI 服务。
  • ONNX on Spark: 支持分布式和硬件加速的模型推理。
  • Microservice Orchestration: 使用 HTTP on Spark 将 Spark 与 HTTP 协议集成，实现分布式微服务编排。
  • Responsible AI: 提供工具以理解黑箱模型并衡量数据集偏差。
  • CybserML: 专为网络安全设计的机器学习工具。
  • Spark Serving: 能将 Spark 计算以子毫秒延迟提供为 Web 服务。