cube-studio: 시각적 파이프라인 오케스트레이션 및 이기종 컴퓨팅 스케줄링을 갖춘 클라우드 네이티브 원스톱 ML 플랫폼

해결하는 문제

CubeStudio는 전체 ML 라이프사이클을 단순화하도록 설계된 클라우드 네이티브 원스톱 머신러닝 플랫폼입니다. 인프라 관리, 환경 구성 및 리소스 스케줄링의 번거로움을 제거하여, AI 개발자가 서버나 Kubernetes 클러스터를 수동으로 구성하지 않고도 데이터 레이블링 및 대화형 개발에서 분산 학습 및 모델 배포까지 이동할 수 있도록 합니다.

작동 방식

Kubernetes를 기반으로 구축된 이 플랫폼은 여러 클러스터와 리소스 그룹에 걸쳐 컴퓨팅 리소스(CPU, GPU, NPU)를 오케스트레이션합니다. 다음과 같은 웹 기반 인터페이스를 제공합니다:

• 온라인 개발: 대화형 코딩을 위한 JupyterLab 및 VS Code와 같은 통합 IDE.
• 파이프라인 오케스트레이션: ML 워크플로우(데이터 가져오기 $\rightarrow$ 전처리 $\to$ 학습 $\to$ 평가 $\to$ 배포)를 구축하기 위한 드래그 앤 드롭 방식의 시각적 에디터.
• 리소스 관리: 이기종 하드웨어(NVIDIA, Huawei Ascend 등)의 자동 스케줄링 및 고속 분산 학습을 위한 RDMA 지원.
• 추론 서비스: 카나리 릴리스, 오토스케일링 및 트래픽 분할을 지원하는 모델 서빙을 위한 "zero-code" 배포 시스템.

대상 사용자

• AI 연구원 및 엔지니어: 분산 학습 및 빠른 프로토타이핑을 위한 확장 가능한 환경이 필요한 사용자.
• MLOps 팀: ML 파이프라인을 표준화하고, 멀티테넌트 리소스 할당량을 관리하며, GPU 사용률을 모니터링하려는 팀.
• 기업용 AI 팀: 다양한 하드웨어 아키텍처(ARM, x86) 및 다양한 AI 가속기를 지원하는 중앙 집중식 플랫폼이 필요한 팀.

주요 특징

• 이기종 컴퓨팅 지원: 다양한 GPU/NPU(T4, V100, A100, Ascend, DCU) 및 ARM 아키텍처와 호환.
• 시각적 파이프라인 에디터: 기능 처리 및 모델 학습을 위한 내장된 연산자를 사용하는 드래그 앤 드롭 워크플로우 오케스트레이션.
• 통합 레이블링: 이미지, 텍스트, 오디오 및 멀티모달 데이터를 지원하며 LLM 지원 자동 레이블링을 포함하는 내장 데이터 레이블링 플랫폼.
• LLM 생태계: 대형 모델 미세 조정(Llama-Factory를 통해), 분산 추론(vLLM), 그리고 400개 이상의 사전 학습된 모델이 있는 모델 허브(AIHub)에 대한 전용 지원.
• 기업급 관리: SSO, RBAC, 멀티테넌트 리소스 격리 및 컴퓨팅 사용량에 대한 상세한 빌링/미터링을 포함함.