apache/systemds
An open source ML system for the end-to-end data science lifecycle
해결하는 문제
Apache SystemDS는 초기 데이터 준비 및 정제부터 모델 학습, 디버깅 및 서빙에 이르기까지 데이터 과학 라이프사이클 전체를 처리하도록 설계되었습니다.
작동 방식
사용자는 R과 유사한 구문을 가진 고수준 언어 또는 Python 및 Java API를 사용하여 ML 알고리즘이나 파이프라인을 지정합니다. 그러면 시스템은 로컬 인메모리 작업과 Apache Spark의 분산 작업을 결합한 하이브리드 런타임 계획을 자동으로 생성합니다. 또한 GPU 및 연합 학습을 위한 추가 백엔드도 지원합니다.
대상
엔드 투 엔드 머신러닝 파이프라인을 위한 확장 가능한 시스템이 필요한 데이터 과학자 및 개발자를 위해 구축되었습니다.
주요 특징
- 엔드 투 엔드 데이터 과학 라이프사이클 지원
- 하이브리드 런타임 계획 (로컬 및 Apache Spark 분산)
- R과 유사한 구문 및 Python/Java API
- GPU 및 연합 학습 백엔드 지원
관련
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트
- 프로젝트