microsoft/SynapseML

What it solves

SynapseML は、極めて大規模な機械学習パイプラインの作成をシンプルにします。テキスト分析、コンピュータビジョン、異常検知といったタスク向けに、単一ノードからリソースを無駄にせずに弾力的にサイズ変更可能なクラスターへとスケールできるインテリジェントシステムの構築を可能にします。

How it works

Apache Spark の分散コンピューティングフレームワーク上に構築されており、SynapseML は SparkML/MLLib と同一の API を共有する、組み合わせ可能で分散型の API を提供します。これにより既存の Spark ワークフローにシームレスに組み込むことができます。さまざまなデータベース、ファイルシステム、クラウドデータストアを抽象化し、Python、R、Scala、Java、.NET など複数言語をサポートします。

Who it’s for

Apache Spark を用いて大規模分散クラスター上で機械学習ワークフローをスケールさせる必要があるデータサイエンティストや ML エンジニア向けです。

Highlights

• Distributed ML Algorithms: Spark 上で実装された Vowpal Wabbit、LightGBM、Isolation Forest を含みます。
• AI Service Integration: 大規模データ向けに Microsoft Cognitive Services を活用します。
• ONNX on Spark: 分散かつハードウェアアクセラレーションされたモデル推論を可能にします。
• Microservice Orchestration: HTTP on Spark を使用して Spark と HTTP プロトコルを統合し、分散マイクロサービスのオーケストレーションを実現します。
• Responsible AI: ブラックボックスモデルの理解やデータセットバイアスの測定ツールを提供します。
• CybserML: サイバーセキュリティ向けの専用機械学習ツールです。
• Spark Serving: Spark 計算をサブミリ秒レイテンシで Web サービスとして提供できます。