rustfs/rustfs

🚀2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.

RustFS – 高性能分布式对象存储(Rust)

是什么 – RustFS 是一个用 Rust 编写的开源对象存储系统,采用 Apache-2.0 许可证。它旨在结合 MinIO 的易用性与 Rust 的内存安全性和速度,提供 S3 兼容 API、OpenStack Swift 支持以及用于管理存储桶和对象的 Web 控制台。

对 AI / 数据密集型工作负载的重要性 – README 中提到“专为数据湖、AI 和大数据工作负载优化”。对象存储是训练数据、模型检查点和推理结果的基石。RustFS 对原始性能、低开销网络和比特腐烂保护的专注,使其成为云托管 S3 服务的可行本地或边缘替代方案。

核心功能(基于 README)

功能 状态
高性能核心(Rust,低级别 I/O) ✅ 可用
分布式模式(容错,多节点) 🚧 测试中
S3 API 兼容性(核心功能、版本控制、分段上传等) ✅ 可用
OpenStack Swift API 与 Keystone 认证 ✅ 可用
比特腐烂保护 ✅ 可用
存储桶复制与生命周期管理 ✅ 可用 / 🚧 测试中
单节点模式(快速本地开发) ✅ 可用
Kubernetes Helm 图表 ✅ 可用
RustFS-KMS(加密密钥管理) 🚧 测试中
多租户 ✅ 可用
事件通知与 Webhook 集成 ✅ 可用
日志与监控(Grafana、Prometheus、Jaeger 容器) ✅ 可用

典型使用场景

  • AI 数据湖 – 使用 S3 兼容工具(如 aws s3boto3)存储大型训练数据集、模型制品和实验日志。
  • 边缘 / IoT 网关 – Rust 的低内存占用和“强边缘支持”声明使其适用于资源受限设备上的本地存储。
  • 混合云 – 在本地运行 RustFS,同时保持与云服务相同的 S3 API,便于数据迁移。
  • 合规性导向部署 – 无遥测数据,符合 GDPR/CCPA/APPI,商业使用许可宽松。

快速启动选项(来自 README)

  1. 一键脚本curl -O https://rustfs.com/install_rustfs.sh && bash install_rustfs.sh
  2. Docker – 以非 root 用户(UID/GID 10001)运行官方镜像。示例:
    mkdir -p data logs && chown -R 10001:10001 data logs
    docker run -d -p 9000:9000 -p 9001:9001 \
        -v $(pwd)/data:/data -v $(pwd)/logs:/logs rustfs/rustfs:latest
    
    端口 9000 = S3 API,9001 = Web 控制台(默认凭证 rustfsadmin/rustfsadmin
  3. Docker-Compose – 使用提供的 docker-compose-simple.yml,同时启动 Grafana、Prometheus 和 Jaeger 用于可观测性。
  4. Helm 图表 – 通过 https://charts.rustfs.com/ 的图表部署到 Kubernetes。
  5. 从源码构建 – 使用 ./docker-buildx.shmake docker-buildx* 在本地构建多架构 Docker 镜像。
  6. Nix Flake / x-cmd – 也列出了这些生态系统的单行命令。

认证与身份

  • 支持 OpenStack Keystone(X-Auth-Token)和 OIDC(如 Microsoft Entra ID)。可将 roles_claim 映射到策略条件,实现细粒度的管理员或存储桶权限。

文档与社区

许可证

  • Apache 2.0 – 宽松,商业友好,无“病毒式”条款。

总结 – RustFS 是一个真正的、生产级的 Rust 编写对象存储系统,定位为 AI 友好、本地部署的云 S3 服务替代方案。它提供完整的 S3/Swift API、容器/Kubernetes 部署路径,以及比特腐烂保护、复制、多租户等特性,使其成为构建大规模数据流水线或边缘 AI 解决方案团队的有力选择。

相关

  • 项目
  • 项目
  • 项目
  • 项目
  • Dispatch