cubefs/cubefs

解决的问题

CubeFS 提供了一种可扩展的云原生分布式存储解决方案，消除了计算与存储之间的紧密耦合。这使得数据库、搜索系统和 AI/ML 应用能够独立扩展其处理能力和存储容量。

工作原理

它作为一个支持多种访问协议（POSIX、HDFS、S3 和原生 REST API）的分布式文件和对象存储系统运行。它采用高度可扩展的元数据服务，具备强一致性，并提供灵活的存储策略，包括高性能复制和低成本纠删码。在混合云环境中，它通过在 S3 等公共云存储之上实现多级缓存，提供 I/O 加速。

适用人群

专为构建数据湖、数据中心文件系统或私有/混合云存储的开发人员和基础设施工程师设计，尤其适用于运行 AI/ML 工作负载或大规模容器平台的用户。

主要亮点

• 支持 POSIX、HDFS 和 S3 协议，实现灵活的数据访问。
• 支持 AI/ML 和数据库架构中存储与计算的分离。
• 支持多租户，提升资源隔离与利用率。
• 针对大文件和小文件，以及顺序写入和随机写入均进行了优化。
• 通过多级缓存实现混合云加速。