InfuseAI/ArtiVC

解決的問題

ArtiVC 提供了一種在雲端儲存上對大型資料集進行版本控制的方法，類似於 Git 管理程式碼的方式。它不需要額外的伺服器或閘道器，讓使用者可以對資料進行快照，並在不改變檔案儲存位置的情況下，在不同版本之間切換。

運作方式

它作為一個命令列工具運作，與現有的雲端環境整合。支援與 AWS S3、Google Cloud Storage、Azure Blob Storage 以及透過 SSH 的遠端檔案系統的原生整合。也透過 Rclone 支援超過 40 個額外的後端。為了最小化儲存與傳輸成本，它採用特定的檔案結構設計，防止內容重複，並減少新版本推送時上傳的檔案數量。

適用對象

在雲端儲存或 NFS 上管理大檔案，並需要追蹤變更、標記版本、以及比對資料提交之間差異的資料科學家與工程師。

主要特色

• 雲原生：無需專用伺服器，可直接與 AWS、GCP 和 Azure 整合。
• 利用現有認證：使用標準雲端 CLI 設定（如 aws configure 或 gcloud auth）進行存取。
• 高效儲存：減少資料重複，優化更新時的傳輸速度。
• 無伺服器開銷：完全作為 CLI 工具運作，無需管理基礎設施。
• 廣泛相容：支援本地、SSH 以及 40 多個 Rclone 相容後端。