cubefs/cubefs
cloud-native distributed storage
해결하는 문제
CubeFS는 컴퓨팅과 스토리지 간의 강한 결합을 제거하는 확장 가능한 클라우드 네이티브 분산 스토리지 솔루션을 제공합니다. 이를 통해 데이터베이스, 검색 시스템, AI/ML 애플리케이션은 처리 능력과 스토리지 용량을 별도로 확장할 수 있습니다.
작동 방식
POSIX, HDFS, S3 및 네이티브 REST API와 같은 다양한 접근 프로토콜을 지원하는 분산 파일 및 객체 스토리지 시스템으로 작동합니다. 강한 일관성을 갖춘 고도로 확장 가능한 메타데이터 서비스를 사용하며, 고성능 복제 및 저비용 에러 코딩과 같은 유연한 스토리지 정책을 제공합니다. 하이브리드 클라우드 환경에서는 S3 같은 공공 클라우드 스토리지 위에 다중 레벨 캐시를 통해 I/O 가속을 제공합니다.
대상 사용자
데이터 레이크, 데이터센터 파일 시스템, 또는 프라이빗/하이브리드 클라우드 스토리지 구축을 위한 개발자 및 인프라 엔지니어를 대상으로 하며, 특히 AI/ML 워크로드 또는 대규모 컨테이너 플랫폼을 운영하는 사용자에게 적합합니다.
주요 특징
- 유연한 데이터 접근을 위한 POSIX, HDFS, S3 프로토콜 지원.
- AI/ML 및 데이터베이스 아키텍처에서 스토리지와 컴퓨팅의 분리 가능.
- 다중 테넌시를 통해 리소스 격리 및 활용도 향상.
- 대용량 및 소용량 파일, 순차적 및 임의 쓰기 모두 최적화.
- 다중 레벨 캐시를 통한 하이브리드 클라우드 가속 제공.
관련
- 프로젝트
kubeflow/kubeflowKubeflow는 오픈소스이며 Kubernetes 기반의 플랫폼으로, 훈련, 파이프라인, 노트북, 서빙 등 모듈형 AI/ML 도구들을 모델 라이프사이클 전반에 걸쳐 이식 가능하고 확장 가능한 스택으로 통합합니다.
- 프로젝트
fluid-cloudnative/fluidKubernetes 네이티브 분산 데이터셋 오케스트레이터 및 가속기로, AI 및 대규모 데이터 애플리케이션의 데이터 접근을 최적화하여 데이터셋 추상화와 유연한 캐싱을 제공합니다.
- 프로젝트
data-infra/cube-studioCubeStudio는 데이터 수집 및 멀티모달 주석부터 노트북 기반 개발, 드래그 앤 드롭 파이프라인, 분산 학습(대규모 모델 미세 조정 포함), 제로 코드 추론 서빙에 이르기까지 MLOps 라이프사이클 전체를 다루는 오픈 소스(MIT 라이선스) 클라우드 네이티브 AI 플랫폼입니다. Kubernetes에서 실행되며, 다양한 중국산 가속기(GPU, NPU, vGPU)를 지원하고, 멀티 테넌트 리소스 스케줄링, 컴퓨팅 마켓플레이스, 내장된 과금 기능 및 광범위한 모니터링을 제공합니다.
- 프로젝트
kubeflow/trainerPyTorch, JAX, DeepSpeed 등 다양한 프레임워크를 지원하는 Kubernetes 기반의 분산 AI 플랫폼으로, 대규모 언어 모델(LLM)의 확장 가능한 피니튜닝 및 학습을 가능하게 합니다.
- 프로젝트
kubesphere/kubesphereKubeSphere는 멀티 클라우드, 에지, 데이터 센터 환경 전반의 Kubernetes 관리를 단순화하는 클라우드 네이티브 애플리케이션 관리용 분산 운영체제입니다.