microsoft/SynapseML

What it solves

SynapseML은 대규모 머신러닝 파이프라인 구축을 단순화합니다. 텍스트 분석, 컴퓨터 비전, 이상 탐지와 같은 작업을 위한 지능형 시스템을 구축할 수 있게 하며, 단일 노드에서부터 자원을 낭비하지 않고 탄력적으로 크기를 조정할 수 있는 클러스터까지 확장할 수 있습니다.

How it works

Apache Spark 분산 컴퓨팅 프레임워크 위에 구축된 SynapseML은 SparkML/MLLib과 동일한 API를 공유하는 조합 가능하고 분산된 API를 제공합니다. 이를 통해 기존 Spark 워크플로에 손쉽게 삽입할 수 있습니다. 다양한 데이터베이스, 파일 시스템, 클라우드 데이터 스토어를 추상화하고 Python, R, Scala, Java, .NET 등 여러 언어를 지원합니다.

Who it’s for

Apache Spark를 사용해 대규모 분산 클러스터에서 머신러닝 워크플로를 확장해야 하는 데이터 과학자와 ML 엔지니어를 위한 도구입니다.

Highlights

• Distributed ML Algorithms: Spark에서 구현된 Vowpal Wabbit, LightGBM, Isolation Forest를 포함합니다.
• AI Service Integration: 대규모 데이터에 Microsoft Cognitive Services를 활용합니다.
• ONNX on Spark: 분산 및 하드웨어 가속 모델 추론을 지원합니다.
• Microservice Orchestration: HTTP on Spark를 사용해 Spark와 HTTP 프로토콜을 통합하여 분산 마이크로서비스 오케스트레이션을 구현합니다.
• Responsible AI: 블랙박스 모델을 이해하고 데이터셋 편향을 측정하는 도구를 제공합니다.
• CybserML: 사이버 보안을 위한 전용 머신러닝 도구입니다.
• Spark Serving: Spark 계산을 서브밀리초 지연으로 웹 서비스 형태로 제공할 수 있습니다.