CurvineIO/curvine

What it solves

Curvine 是一個高效能檔案系統，旨在彌補雲端物件儲存（如 AWS S3）與大規模 AI 工作負載對高速數據存取的需求之間的差距。它解決了當 AI 訓練、推理與 AI Agent 平台需要存取儲存在雲端的龐大數據集或模型檢查點（checkpoints）時，數據檢索速度慢且延遲高的問題。

How it works

Curvine 在雲端物件儲存之上建立了一層符合 POSIX 標準的分散式檔案系統。它使用多層級分散式快取（Memory $\rightarrow$ SSD $\rightarrow$ HDD）將熱點數據保留在靠近運算節點的位置。

其架構包含：

• Access Layer: 支持 AI Agent pods 與大數據引擎。
• Protocol Layer: 提供多種存取路徑，包括 FUSE client、S3-compatible gateway、HDFS adapter 與 Kubernetes CSI driver。
• Cluster Core: 一個透過 Raft 複製的分散式 Master node 管理元數據（metadata）與協調，而 Worker nodes 處理實際的數據 I/O 與快取。
• Storage Layer: 使用多雲物件儲存作為持久化儲存層。

Who it’s for

• AI Engineers: 加速 LLM 訓練與跨區域模型分發的工程師。

• AI Agent Platform Developers: 需要在 Kubernetes 上為數千個有狀態的 Agent pods 提供隔離且高效能的 POSIX 工作空間的開發者。

• Data Engineers: 管理多模態數據湖或使用存算分離架構來加速 OLAP 查詢的工程師。

Highlights

• AI-Native Design: 專為 AI 訓練加速與 AI Agent 儲存而優化。
• Extreme Performance: 使用 Rust 構建，具備零拷貝（zero-copy）數據路徑，可實現 ~100$\mu$s 級別的延遲與 wise 100K+ QPS。
• Massive Metadata Capacity: 支持每個集群內最多 50 億個小文件，適合高併發的 Agent 工作負載。
• Cloud-Native Integration: 原生 Kubernetes CSI driver，可實現毫秒級的 PVC provisioning。
• Multi-Cloud Compatibility: 透明地在 AWS S3、Azure Blob、Google GCS 與其他 S3-compatible stores 運作。