fractalbits-labs/fractalbits

解決する課題

FractalBitsは、AWS S3 Express One Zoneなどのサービスの高コストと運用の複雑さを排除するために設計された、高性能でS3互換のオブジェクトストレージシステムです。特に、AIトレーニングパイプラインやデータ分析ワークフローでボトルネックとなることが多い、小規模オブジェクトワークロード向けの低レイテンシー・高スループットストレージのニーズに対応します。

仕組み

システムは、APIゲートウェイとコントロールプレーンにRustを使用し、データプレーンでは非同期I/Oにio_uringを活用しています。中核となるのは**Fractal ART（適応基数木）**ストレージエンジンで、2つの目的を果たします。

1. メタデータエンジン：フルパス名アプローチを使用して重い分散トランザクションを回避し、高いスケーラビリティとオブジェクトおよびディレクトリのネイティブなアトミックリネームを実現します。
2. ローカルデータエンジン：SSD最適化パスにより、パフォーマンスがNVMeハードウェアに直接比例してスケールします。

対象ユーザー

主に、数百万の小規模オブジェクトへの超高速アクセスと、データセットやチェックポイント管理のためのアトミック操作を必要とするAIトレーニングパイプラインやデータ分析プラットフォームを構築するエンジニアを対象としています。

ハイライト

• 極限のスループット：毎秒130万回以上の4KBオブジェクト読み取りをP99レイテンシー約3msで実現。
• アトミックリネーム：標準のS3にはない、オブジェクトとディレクトリの両方のアトミックリネームをネイティブサポート。
• ハードウェア最適化：低オーバーヘッドのI/Oパスを使用してNVMe SSDに合わせて特別に設計。
• 迅速なデプロイ：「Bring Your Own Cloud」（BYOC）デプロイをサポートし、5分以内にAWSまたはGCPへデプロイ可能。