CurvineIO/curvine

何を解決するか

Curvineは、クラウドオブジェクトストレージ（AWS S3など）と、大規模なAIワークロードが必要とする高速データアクセス要件との間のギャップを埋めるために設計された高性能ファイルシステムです。AIのトレーニング、推論、およびAI Agentプラットフォームが、クラウドに保存された大規模なデータセットやモデルチェックポイントにアクセスする際の、データ取得の遅延や高レイテンシの問題を解決します。

仕組み

Curvineは、クラウドオブジェクトストレージの上に分散型POSIX準拠ファイルシステムをレイヤーとして構築します。マルチティア分散型キャッシュ（Memory $\rightarrow$ SSD $\rightarrow$ HDD）を使用して、ホットデータを計算ノードの近くに保持します。

そのアーキテクチャは以下で構成されています：

• Access Layer: AI Agent podやビッグデータエンジンをサポートします。
• Protocol Layer: FUSE client、S3-compatible gateway、HDFS adapter、およびKubernetes CSI driverを含む複数のアクセスパスを提供します。
• Cluster Core: Raftで複製されたMaster nodeがメタデータを管理・調整し、Worker nodeが実際のデータI/Oとキャッシュを処理します。
• Storage Layer: マルチクラウドのオブジェクトストレージを耐久性のある永続化レイヤーとして使用します。

対象ユーザー

• AI Engineers: LLMのトレーニングや、複数リージョン間でのモデル配布を加速させたいエンジニア。
• AI Agent Platform Developers: Kubernetes上で数千のステートフルなAgent podに対して、隔離された高性能なPOSIXワークスペースを提供する必要がある開発者。
• Data Engineers: マルチモーダルデータレイクを管理、または計算・ストレージ分離アーキテクチャを使用してOLAPクエリを加速させたいエンジニア。

ハイライト

• AI-Native Design: AIトレーニングの加速とAI Agentのストレージ向けに特別に最適化されています。
• Extreme Performance: Rustで構築され、ゼロコピーデータパスを採用。~100$\mu$sクラスのレイテンシと100K+ QPSを実現します。
• Massive Metadata Capacity: 1クラスターあたり最大50億個の小さなファイルをサポートし、高並列なAgentワークロードに適しています。
• Cloud-Native Integration: ネイティブなKubernetes CSI driverにより、ミリ秒単位のPVCプロビジョニングが可能です。
• Multi-Cloud Compatibility: AWS S3、Azure Blob、Google GCS、およびその他のS3互換ストレージで透過的に動作します。