microsoft/SynapseML

Simple and Distributed Machine Learning

What it solves

SynapseML 簡化了大規模機器學習管線的建立。它讓使用者能夠建構智慧系統，處理文字分析、電腦視覺與異常偵測等任務，且可從單一節點擴展至彈性調整的叢集，而不會浪費資源。

How it works

基於 Apache Spark 分散式運算框架建置，SynapseML 提供可組合且分散式的 API，與 SparkML/MLLib 共享相同的介面。這使得它能無縫嵌入既有的 Spark 工作流程。它抽象化了各種資料庫、檔案系統與雲端資料儲存，並支援多種語言，包括 Python、R、Scala、Java 與 .NET。

Who it’s for

需要使用 Apache Spark 在大規模分散式叢集上擴展機器學習工作流程的資料科學家與 ML 工程師。

Highlights

  • Distributed ML Algorithms: 包含在 Spark 上實作的 Vowpal Wabbit、LightGBM 與 Isolation Forest。
  • AI Service Integration: 利用 Microsoft Cognitive Services 於大數據規模下提供 AI 服務。
  • ONNX on Spark: 支援分散式與硬體加速的模型推論。
  • Microservice Orchestration: 使用 HTTP on Spark 將 Spark 與 HTTP 協定整合，以實現分散式微服務編排。
  • Responsible AI: 提供工具以了解黑盒模型並衡量資料集偏差。
  • CybserML: 專為資安領域設計的機器學習工具。
  • Spark Serving: 能將 Spark 計算以子毫秒延遲提供為 Web 服務。