databricks/mlops-stacks

해결하는 문제

Databricks MLOps Stacks는 새로운 머신러닝 프로젝트를 시작하기 위한 표준화된 프로덕션 준비 완료 템플릿을 제공합니다. 데이터 과학자와 운영 엔지니어가 CI/CD 파이프라인, 리소스 관리 및 프로젝트 구조를 처음부터 수동으로 구성할 필요를 없애주어, 프로덕션화를 위한 베스트 프랙티스가 처음부터 통합되도록 보장합니다.

작동 방식

이 프로젝트는 Databricks asset bundle 템플릿으로 구현되었습니다. 사용자는 Databricks CLI (databricks bundle init mlops-stacks)를 사용하여 새 프로젝트를 초기화하며, 이는 사용자 제공 파라미터를 기반으로 맞춤형 프로젝트 구조를 생성합니다.

ML 파이프라인은 세 가지 모듈형 구성 요소로 구성됩니다:

• ML Code: 유닛 테스트가 완료된 Python 모듈 및 노트북을 통해 학습 및 배치 추론을 위한 구조를 제공합니다.
• ML Resources as Code: Databricks CLI bundles를 사용하여 파이프라인 리소스(학습 및 배치 추론 작업 등)를 코드로 정의하여, 풀 리퀘스트를 통해 변경 사항을 관리할 수 있습니다.
• CI/CD: GitHub Actions, Azure DevOps 또는 GitLab을 위한 사전 구성된 워크플로우를 통해 dev, staging 및 production 환경 전반에 걸쳐 테스트 및 배포를 자동화합니다.

대상

• 데이터 과학자: 프로덕션을 위한 최종 리팩토링을 걱정하지 않고 ML 코드를 빠르게 반복 개발하고자 하는 분.
• ML 엔지니어 (MLEs): ML 프로젝트의 배포 파이프라인 및 리소스 관리를 설정하고 제어해야 하는 분.

주요 특징

• 프로덕션급 CI/CD: 여러 환경(dev, staging, prod)에 걸쳐 코드와 리소스를 테스트하고 배포하기 위한 사전 구성된 자동화.
• 모듈형 설계: 구성 요소를 개별적으로 채택하거나 조직의 베스트 프랙티스에 맞게 맞춤 설정할 수 있습니다.
• 리소스 거버넌스: ML 리소스가 코드로 관리되어, 수동 UI 변경 대신 풀 리퀘스트를 통한 감사 및 배포가 가능합니다.
• 멀티 클라우드 지원: AWS, Azure 및 GCP와 호환됩니다.
• 선택적 Feature Store 통합: Databricks Feature Store를 사용하여 특징량 엔지니어링 및 학습을 관리하기 위한 선택적 구성 요소를 포함합니다.