cubefs/cubefs
cloud-native distributed storage
何を解決するか
CubeFS は、コンピュートとストレージの緊密な結合を解消するスケーラブルでクラウドネイティブな分散ストレージソリューションを提供します。これにより、データベース、検索システム、AI/MLアプリケーションは処理能力とストレージ容量を独立してスケーリングできます。
動作方法
分散ファイルおよびオブジェクトストレージシステムとして機能し、POSIX、HDFS、S3、およびネイティブなREST APIの複数のアクセスプロトコルをサポートします。強力な一貫性を持つスケーラブルなメタデータサービスを採用し、高パフォーマンスなレプリケーションや低コストのエラーチェックコードといった柔軟なストレージポリシーを提供します。ハイブリッドクラウド環境では、S3などのパブリッククラウドストレージ上にマルチレベルキャッシュを構築し、I/Oの高速化を実現します。
対象ユーザー
データレイク、データセンターファイルシステム、プライベート/ハイブリッドクラウドストレージを構築する開発者やインフラエンジニア向けです。特にAI/MLワークロードや大規模なコンテナプラットフォームを運用している方々に適しています。
主な特徴
- フレキシブルなデータアクセスのためのPOSIX、HDFS、S3プロトコルをサポート。
- AI/MLおよびデータベースアーキテクチャにおけるストレージとコンピュートの分離を可能に。
- マルチテナント機能により、リソースの隔離と利用効率が向上。
- 大きなファイルと小さなファイル、シーケンシャルな書き込みとランダムな書き込みの両方を最適化。
- マルチレベルキャッシュによるハイブリッドクラウド加速を提供。
関連
- プロジェクト
kubeflow/kubeflowKubeflowは、Kubernetesネイティブなオープンソースプラットフォームであり、トレーニング、パイプライン、ノートブック、サービングなどのモジュール型AI/MLツールを、モデルライフサイクル全体にわたってポータブルかつスケーラブルなスタックとしてバンドルしています。
- プロジェクト
fluid-cloudnative/fluidKubernetesネイティブな分散データセットオーケストレーターおよびアクセラレーター。AIおよび大規模データアプリケーションのデータアクセスを最適化し、データセットの抽象化と弾性キャッシュを提供する。
- プロジェクト
data-infra/cube-studioCubeStudioは、データ取り込みやマルチモーダルアノテーションから、ノートブックベースの開発、ドラッグ＆ドロップ式のパイプライン、分散トレーニング（大規模モデルの微調整を含む）、ゼロコード推論サービングまで、MLOpsのライフサイクル全体をカバーするオープンソース（MITライセンス）のクラウドネイティブAIプラットフォームです。Kubernetes上で動作し、多くの中国製アクセラレータ（GPU、NPU、vGPU）をサポートし、マルチテナントリソーススケジューリング、コンピューティングマーケットプレイス、組み込みの課金機能、広範なモニタリングを提供します。
- プロジェクト
kubeflow/trainerPyTorch、JAX、DeepSpeedなど、複数のフレームワークに対応するKubernetesネイティブな分散AIプラットフォーム。大規模言語モデル（LLM）のスケーラブルなファインチューニングおよびトレーニングを実現。
- プロジェクト
kubesphere/kubesphereKubeSphereは、マルチクラウド、エッジ、およびデータセンター環境にわたるKubernetes管理を簡素化する、クラウドネイティブアプリケーション管理用の分散型オペレーティングシステムです。