apache/systemds
An open source ML system for the end-to-end data science lifecycle
解决的问题
Apache SystemDS 旨在处理整个数据科学生命周期，涵盖从初始数据准备和清洗到模型训练、调试和服务的方方面面。
工作原理
用户可以使用具有类 R 语法的编程语言或通过 Python 和 Java API 来指定 ML 算法或流水线。系统随后会自动生成混合运行时计划，将本地内存操作与 Apache Spark 上的分布式操作相结合。它还支持用于 GPU 和联邦学习的额外后端。
适用对象
它是为需要用于端到端机器学习流水线的可扩展系统的数据科学家和开发人员而构建的。
亮点
- 端到端数据科学生命周期支持
- 混合运行时计划（本地和 Apache Spark 分布式）
- 类 R 语法和 Python/Java API
- 支持 GPU 和联邦学习后端
相关
- 项目
- 项目
- 项目
- 项目
- 项目