fractalbits-labs/fractalbits

해결하는 문제

FractalBits는 AWS S3 Express One Zone과 같은 서비스의 높은 비용과 운영 복잡성을 제거하기 위해 설계된 고성능 S3 호환 객체 스토리지 시스템입니다. 특히 AI 훈련 파이프라인과 데이터 분석 워크플로우에서 병목 지점이 되는 경우가 많은 소규모 객체 워크로드를 위한 저지연, 고처리량 스토리지 요구를 해결합니다.

작동 방식

시스템은 API 게이트웨이와 컨트롤 플레인에 Rust를 사용하고, 데이터 플레인에서 비동기 I/O를 위해 io_uring을 활용합니다. 핵심은 Fractal ART(Adaptive Radix Tree) 스토리지 엔진으로, 두 가지 목적을 제공합니다.

1. 메타데이터 엔진: 전체 경로 이름 방식을 사용하여 무거운 분산 트랜잭션을 피하고, 높은 확장성과 객체 및 디렉토리의 네이티브 원자적 이름 변경을 지원합니다.
2. 로컬 데이터 엔진: SSD에 최적화된 경로로 성능이 NVMe 하드웨어에 직접 비례하여 확장됩니다.

대상 사용자

주로 수백만 개의 소규모 객체에 대한 초고속 액세스와 데이터셋 및 체크포인트 관리를 위한 원자적 작업이 필요한 AI 훈련 파이프라인 및 데이터 분석 플랫폼을 구축하는 엔지니어를 대상으로 합니다.

주요 특징

• 극한의 처리량: 초당 130만 회 이상의 4KB 객체 읽기를 P99 지연 시간 약 3ms로 지원합니다.
• 원자적 이름 변경: 표준 S3에는 없는 객체와 디렉토리 모두에 대한 원자적 이름 변경을 네이티브로 지원합니다.
• 하드웨어 최적화: 낮은 오버헤드 I/O 경로를 사용하여 NVMe SSD에 맞게 특별히 설계되었습니다.
• 신속한 배포: "Bring Your Own Cloud"(BYOC) 배포를 지원하여 5분 이내에 AWS 또는 GCP에 배포할 수 있습니다.