rustfs/rustfs

🚀2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.

RustFS – 高效能分散式物件儲存系統(Rust)

是什麼 – RustFS 是一個以 Rust 編寫的開源物件儲存系統,採用 Apache-2.0 授權。它旨在結合 MinIO 的易用性與 Rust 的記憶體安全性及速度,提供 S3 兼容 API、OpenStack Swift 支援,以及用於管理儲存桶與物件的 Web 控制台。

對 AI / 資料密集型工作負載的重要性 – README 指出「專為資料湖、AI 與大數據工作負載優化」。物件儲存是訓練資料、模型檢查點與推論結果的基石。RustFS 對原始效能、低開銷網路與位元腐蝕保護的專注,使其成為雲端主機 S3 服務的可行在地或邊緣替代方案。

核心功能(根據 README)

功能 狀態
高效能核心(Rust,底層 I/O) ✅ 可用
分散式模式(容錯、多節點) 🚧 測試中
S3 API 兼容性(核心功能、版本控制、多段上傳等) ✅ 可用
OpenStack Swift API 與 Keystone 驗證 ✅ 可用
位元腐蝕保護 ✅ 可用
儲存桶複製與生命週期管理 ✅ 可用 / 🚧 測試中
單節點模式(快速本地開發) ✅ 可用
Kubernetes Helm 圖表 ✅ 可用
RustFS-KMS(加密金鑰管理) 🚧 測試中
多租戶 ✅ 可用
事件通知與 Webhook 整合 ✅ 可用
記錄與監控(Grafana、Prometheus、Jaeger 容器) ✅ 可用

常見使用情境

  • AI 資料湖 – 使用 S3 兼容工具(如 aws s3boto3)儲存大型訓練資料集、模型資產與實驗日誌。
  • 邊緣 / IoT 網關 – Rust 的低記憶體佔用與「強力邊緣支援」聲稱,使其適用於資源受限裝置上的在地儲存。
  • 混合雲 – 在地執行 RustFS,同時維持與雲端服務相同的 S3 API,方便資料遷移。
  • 合規導向部署 – 無遙測資料,符合 GDPR/CCPA/APPI,商業使用許可寬鬆。

快速啟動選項(來自 README)

  1. 一鍵指令碼curl -O https://rustfs.com/install_rustfs.sh && bash install_rustfs.sh
  2. Docker – 以非 root 使用者(UID/GID 10001)執行官方映像。範例:
    mkdir -p data logs && chown -R 10001:10001 data logs
    docker run -d -p 9000:9000 -p 9001:9001 \
        -v $(pwd)/data:/data -v $(pwd)/logs:/logs rustfs/rustfs:latest
    
    埠 9000 = S3 API,9001 = Web 控制台(預設憑證 rustfsadmin/rustfsadmin
  3. Docker-Compose – 使用提供的 docker-compose-simple.yml,同時啟動 Grafana、Prometheus 與 Jaeger 以供可觀測性。
  4. Helm 圖表 – 透過 https://charts.rustfs.com/ 的圖表部署至 Kubernetes。
  5. 從原始碼建置 – 使用 ./docker-buildx.shmake docker-buildx* 在本地建置多架構 Docker 映像。
  6. Nix Flake / x-cmd – 也列出這些生態系統的單行指令。

驗證與身分識別

  • 支援 OpenStack Keystone(X-Auth-Token)與 OIDC(如 Microsoft Entra ID)。可將 roles_claim 映射至策略條件,實現細粒度的管理員或儲存桶權限。

文件與社群

授權

  • Apache 2.0 – 寬鬆、商業友善,無「病毒式」條款。

總結 – RustFS 是一個真正的、生產級的 Rust 編寫物件儲存系統,定位為 AI 友好、在地部署的雲端 S3 服務替代方案。它提供完整的 S3/Swift API、容器/Kubernetes 部署路徑,以及比特腐蝕保護、複製、多租戶等特性,使其成為建構大規模資料流程或邊緣 AI 解決方案團隊的有力選擇。

相關

  • 專案
  • 專案
  • 專案
  • 專案
  • Dispatch