fractalbits-labs/fractalbits
Ultra-high performance distributed storage system in the AI era. Powered by Fractal ART engine, Rust-native, io_uring, with multi-protocol (S3 object storage, POSIX FS, ...)
解决的问题
FractalBits 是一个高性能、S3 兼容的对象存储系统,旨在消除 AWS S3 Express One Zone 等服务的高成本和运营复杂性。它特别针对小型对象工作负载的低延迟、高吞吐量存储需求,这通常是 AI 训练管道和数据分析工作流程中的瓶颈。
运作方式
系统使用 Rust 构建 API 网关和控制平面,并利用 io_uring 进行数据平面中的异步 I/O。其核心是 Fractal ART(自适应基数树) 存储引擎,有两个用途:
- 元数据引擎:使用完整路径名称方法避免重量级分布式事务,实现高可扩展性和对象与目录的原生原子重命名支持。
- 本地数据引擎:SSD 优化路径,让性能直接随 NVMe 硬件扩展。
目标受众
主要针对构建 AI 训练管道和数据分析平台的工程师,这些平台需要极快速访问数百万个小型对象,并需要原子操作来管理数据集和检查点。
亮点
- 极致吞吐量:每秒可超过 130 万次 4KB 对象读取,P99 延迟约 3 毫秒。
- 原子重命名:提供对象和目录的原子重命名原生支持,这是标准 S3 缺少的功能。
- 硬件优化:专为 NVMe SSD 设计,使用低开销 I/O 路径扩展。
- 快速部署:支持“自带云”(BYOC)部署,5 分钟内即可部署到 AWS 或 GCP。
相关
- 项目
- 项目
- 项目
- 项目