4paradigm/OpenMLDB

해결하는 문제

OpenMLDB는 기계학습에서 오프라인 특징 엔지니어링과 온라인 추론 사이의 격차를 해결합니다. 개발팀이 프로덕션 환경에서 Python 스크립트를 C++ 또는 데이터베이스 코드로 재작성할 필요 없이, 데이터 유출, 특징 보정, 학습과 추론 간 불일치(학습-추론 편차)와 같은 일반적인 문제를 해결합니다.

작동 방식

OpenMLDB는 "개발 = 배포" 철학을 구현하는 특징 플랫폼으로서 작동합니다. SQL을 통합된 프로그래밍 언어로 사용하여 특징을 정의하고, 이를 두 가지 전용 엔진이 처리합니다:

• 배치 SQL 엔진: 오프라인 학습 데이터 생성을 위해 맞춤형으로 조정된 Spark 배포 기반.
• 실시간 SQL 엔진: 시계열 데이터에 최적화된 자체 개발 엔진으로, 온라인 추론을 위한 초저지연 특징을 제공.

통합된 실행 계획 생성기가 두 엔진을 연결하여, 동일한 SQL 로직이 학습 또는 서빙에 사용되더라도 일관된 특징을 생성함을 보장합니다.

대상 사용자

개인화된 추천, 리스크 분석, IoT 모니터링과 같은 생산 환경 기계학습 애플리케이션에 실시간 특징을 제공해야 하는 데이터 과학자 및 ML 엔지니어.

주요 특징

• 일관된 특징: 오프라인 학습과 온라인 추론 간 일관성을 보장하여 데이터 유출을 방지.
• 초저지연: 수 밀리초 내에 특징을 생성할 수 있는 고도로 최적화된 실시간 엔진.
• SQL 기반 정의: LAST JOIN, WINDOW UNION 등의 확장 SQL 구문을 사용해 특징 관리가 용이.
• 프로덕션 준비 완료: 분산 저장, 장애 복구, 고가용성, 원활한 확장성 지원.