rustfs/rustfs
🚀2.3x faster than MinIO for 4KB object payloads. RustFS is an open-source, S3-compatible high-performance object storage system supporting migration and coexistence with other S3-compatible platforms such as MinIO and Ceph.
RustFS – 高性能分布式对象存储(Rust)
是什么 – RustFS 是一个用 Rust 编写的开源对象存储系统,采用 Apache-2.0 许可证。它旨在结合 MinIO 的易用性与 Rust 的内存安全性和速度,提供 S3 兼容 API、OpenStack Swift 支持以及用于管理存储桶和对象的 Web 控制台。
对 AI / 数据密集型工作负载的重要性 – README 中提到“专为数据湖、AI 和大数据工作负载优化”。对象存储是训练数据、模型检查点和推理结果的基石。RustFS 对原始性能、低开销网络和比特腐烂保护的专注,使其成为云托管 S3 服务的可行本地或边缘替代方案。
核心功能(基于 README)
| 功能 | 状态 |
|---|---|
| 高性能核心(Rust,低级别 I/O) | ✅ 可用 |
| 分布式模式(容错,多节点) | 🚧 测试中 |
| S3 API 兼容性(核心功能、版本控制、分段上传等) | ✅ 可用 |
| OpenStack Swift API 与 Keystone 认证 | ✅ 可用 |
| 比特腐烂保护 | ✅ 可用 |
| 存储桶复制与生命周期管理 | ✅ 可用 / 🚧 测试中 |
| 单节点模式(快速本地开发) | ✅ 可用 |
| Kubernetes Helm 图表 | ✅ 可用 |
| RustFS-KMS(加密密钥管理) | 🚧 测试中 |
| 多租户 | ✅ 可用 |
| 事件通知与 Webhook 集成 | ✅ 可用 |
| 日志与监控(Grafana、Prometheus、Jaeger 容器) | ✅ 可用 |
典型使用场景
- AI 数据湖 – 使用 S3 兼容工具(如
aws s3、boto3)存储大型训练数据集、模型制品和实验日志。 - 边缘 / IoT 网关 – Rust 的低内存占用和“强边缘支持”声明使其适用于资源受限设备上的本地存储。
- 混合云 – 在本地运行 RustFS,同时保持与云服务相同的 S3 API,便于数据迁移。
- 合规性导向部署 – 无遥测数据,符合 GDPR/CCPA/APPI,商业使用许可宽松。
快速启动选项(来自 README)
- 一键脚本 –
curl -O https://rustfs.com/install_rustfs.sh && bash install_rustfs.sh - Docker – 以非 root 用户(UID/GID
10001)运行官方镜像。示例:
端口 9000 = S3 API,9001 = Web 控制台(默认凭证mkdir -p data logs && chown -R 10001:10001 data logs docker run -d -p 9000:9000 -p 9001:9001 \ -v $(pwd)/data:/data -v $(pwd)/logs:/logs rustfs/rustfs:latestrustfsadmin/rustfsadmin) - Docker-Compose – 使用提供的
docker-compose-simple.yml,同时启动 Grafana、Prometheus 和 Jaeger 用于可观测性。 - Helm 图表 – 通过
https://charts.rustfs.com/的图表部署到 Kubernetes。 - 从源码构建 – 使用
./docker-buildx.sh或make docker-buildx*在本地构建多架构 Docker 镜像。 - Nix Flake / x-cmd – 也列出了这些生态系统的单行命令。
认证与身份
- 支持 OpenStack Keystone(X-Auth-Token)和 OIDC(如 Microsoft Entra ID)。可将
roles_claim映射到策略条件,实现细粒度的管理员或存储桶权限。
文档与社区
- 文档网站 – https://docs.rustfs.com(安装、配置、操作指南)。
- 社区 – Discord、GitHub Discussions 和公开问题追踪器。
- 可观测性 – 内置 Prometheus 指标、Jaeger 跟踪和 Grafana 仪表板。
许可证
- Apache 2.0 – 宽松,商业友好,无“病毒式”条款。
总结 – RustFS 是一个真正的、生产级的 Rust 编写对象存储系统,定位为 AI 友好、本地部署的云 S3 服务替代方案。它提供完整的 S3/Swift API、容器/Kubernetes 部署路径,以及比特腐烂保护、复制、多租户等特性,使其成为构建大规模数据流水线或边缘 AI 解决方案团队的有力选择。
相关
- 项目
- 项目
- 项目
- 项目
- Dispatch