rustfs/rustfs

🚀2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.

RustFS – 高性能分散型オブジェクトストレージ(Rust)

何であるか – RustFSは、Rustで書かれたオープンソースのオブジェクトストレージシステムであり、Apache-2.0ライセンスのもとで提供されています。MinIOの使いやすさとRustのメモリ安全性和高速性を統合することを目指しており、S3互換API、OpenStack Swift対応、バケットおよびオブジェクトを管理するためのWebコンソールを提供しています。

AI/データ集約ワークロードにとって重要な点 – READMEは「データレイク、AI、ビッグデータワークロードに最適化」と明記しています。オブジェクトストレージは、トレーニングデータ、モデルチェックポイント、推論結果の基盤です。RustFSの高速なパフォーマンス、低オーバーヘッドのネットワーキング、ビットロット保護機能により、クラウドホスティングS3サービスのオンプレミスまたはエッジ代替として実用的です。

コア機能(READMEに基づく)

機能 状態
高性能コア(Rust、低レベルI/O) ✅ 利用可能
分散モード(フェールセーフ、マルチノード) 🚧 テスト中
S3 API互換性(コア機能、バージョニング、マルチパートアップロードなど) ✅ 利用可能
OpenStack Swift API および Keystone認証 ✅ 利用可能
ビットロット保護 ✅ 利用可能
バケットレプリケーションおよびライフサイクル管理 ✅ 利用可能 / 🚧 テスト中
シングルノードモード(迅速なローカル開発用) ✅ 利用可能
Kubernetes Helmチャート ✅ 利用可能
RustFS-KMS(暗号鍵管理) 🚧 テスト中
マルチテナンシー ✅ 利用可能
イベント通知およびWebhook統合 ✅ 利用可能
ログ記録と監視(Grafana、Prometheus、Jaegerコンテナ) ✅ 利用可能

一般的な利用事例

  • AIデータレイクaws s3boto3などのS3互換ツールで、大規模なトレーニングデータセット、モデルアーティファクト、実験ログを保存。
  • エッジ/IoTゲートウェイ – Rustの低メモリ使用量と「強力なエッジサポート」の主張により、制約のあるデバイスでのオンプレミスストレージに適しています。
  • ハイブリッドクラウド – クラウドサービスで使用される同じS3 APIをオンプレミスで実行することで、データ移行を容易にします。
  • コンプライアンス重視の展開 – テレメトリなし、GDPR/CCPA/APPI準拠、商用利用に適した許可付きライセンス。

クイックスタートオプション(READMEより)

  1. ワンクリックスクリプトcurl -O https://rustfs.com/install_rustfs.sh && bash install_rustfs.sh
  2. Docker – 非rootユーザー(UID/GID 10001)として公式イメージを実行。例:
    mkdir -p data logs && chown -R 10001:10001 data logs
    docker run -d -p 9000:9000 -p 9001:9001 \
        -v $(pwd)/data:/data -v $(pwd)/logs:/logs rustfs/rustfs:latest
    
    ポート9000 = S3 API、9001 = Webコンソール(デフォルト認証情報 rustfsadmin/rustfsadmin
  3. Docker Compose – 提供された docker-compose-simple.yml を使用し、観測性のためにGrafana、Prometheus、Jaegerも起動。
  4. Helmチャートhttps://charts.rustfs.com/ にあるチャートを使ってKubernetesにデプロイ。
  5. ソースからビルド./docker-buildx.sh または make docker-buildx* でローカルでマルチアーキテクチャDockerイメージをビルド可能。
  6. Nix Flake / x-cmd – これらのエコシステム用のワンライナーもリストアップされています。

認証とアイデンティティ

  • OpenStack Keystone(X-Auth-Token)および OIDC(例:Microsoft Entra ID)をサポート。roles_claim をポリシー条件にマッピング可能で、細かい管理者またはバケット権限を実現。

ドキュメントとコミュニティ

ライセンス

  • Apache 2.0 – 拡張性のある、ビジネスフレンドリーなライセンス、"ウイルス的"な条項なし。

結論 – RustFSは、Rustで書かれた本格的で生産環境対応のオブジェクトストレージシステムであり、クラウドS3サービスのAIフレンドリーなオンプレミス代替として位置づけられています。完全なS3/Swift API、コンテナ/Kubernetesデプロイパス、ビットロット保護、レプリケーション、マルチテナンシーといった機能により、大規模データパイプラインやエッジAIソリューションを構築するチームにとって関連性のある選択肢です。

関連

  • プロジェクト
  • プロジェクト
  • プロジェクト
  • プロジェクト
  • Dispatch