InfuseAI/ArtiVC

解决的问题

ArtiVC 提供了一种在云存储上对大型数据集进行版本控制的方法，类似于 Git 管理代码的方式。它无需单独的服务器或网关，允许用户对数据进行快照，并在不改变文件存储位置的情况下在不同版本之间切换。

工作原理

它作为一个命令行工具运行，与现有的云环境集成。支持与 AWS S3、Google Cloud Storage、Azure Blob Storage 以及通过 SSH 的远程文件系统的原生集成。还通过 Rclone 支持超过 40 个额外的后端。为了最小化存储和传输成本，它采用特定的文件结构设计，防止内容重复，并减少新版本推送时上传的文件数量。

适用人群

在云存储或 NFS 上管理大文件，并需要追踪变更、标记版本以及对比数据提交之间差异的数据科学家和工程师。

主要亮点

• 云原生：无需专用服务器，直接与 AWS、GCP 和 Azure 集成。
• 复用现有认证：使用标准云 CLI 配置（如 aws configure 或 gcloud auth）进行访问。
• 高效存储：减少数据重复，优化更新时的传输速度。
• 无服务器开销：完全作为 CLI 工具运行，无需管理基础设施。
• 广泛兼容：支持本地、SSH 以及 40 多个 Rclone 兼容后端。