CurvineIO/curvine

解决的问题

Curvine 是一个高性能文件系统，旨在弥合云对象存储（如 AWS S3）与大规模 AI 工作负载对高速数据访问需求之间的差距。它解决了在 AI 训练、推理以及 AI Agent 平台需要访问存储在云端的海量数据集或模型检查点时，数据检索缓慢和延迟高的问题。

工作原理

Curvine 在云对象存储之上构建了一个分布式 POSIX 兼容文件系统。它采用多级分布式缓存（内存 $\rightarrow$ SSD $\rightarrow$ HDD），将热数据保留在靠近计算节点的位置。

其架构由以下部分组成：

• 访问层：支持 AI Agent Pod 和大数据引擎。
• 协议层：提供多种访问路径，包括 FUSE 客户端、S3 兼容网关、HDFS 适配器以及 Kubernetes CSI 驱动。
• 集群核心：基于 Raft 复制的 Master 节点负责元数据管理和协调，而 Worker 节点处理实际的数据 I/O 和缓存。
• 存储层：使用多云对象存储作为持久化存储层。

适用人群

• AI 工程师：那些需要在多个区域加速 LLM 训练和模型分发的人员。
• AI Agent 平台开发者：那些需要在 Kubernetes 上为数千个有状态 Agent Pod 提供隔离且高性能的 POSIX 工作空间的人员。
• 数据工程师：那些管理多模态数据湖或使用存算分离架构加速 OLAP 查询的人员。

亮点

• AI 原生设计：专为加速 AI 训练和 AI Agent 存储而优化。
• 极致性能：使用 Rust 构建，具备零拷贝数据路径，实现约 100$\mu$s 级别的延迟和 100K+ QPS。
• 海量元数据容量：每个集群支持多达 50 亿个小文件，适用于高并发的 Agent 工作负载。
• 云原生集成：原生支持 Kubernetes CSI 驱动，实现毫秒级的 PVC 供应。
• 多云兼容性：可透明地跨 AWS S3、Azure Blob、Google GCS 及其他 S3 兼容存储工作。