InfuseAI/ArtiVC

何を解決するか

ArtiVC は、Git がコードを管理するのと同様に、クラウドストレージ上の大規模なデータセットをバージョン管理する方法を提供します。別途サーバーまたはゲートウェイを必要とせず、データのスナップショットを撮り、ファイルの保存場所を変更せずに異なるバージョン間を切り替えることができます。

動作方法

コマンドラインツールとして動作し、既存のクラウド環境と統合します。AWS S3、Google Cloud Storage、Azure Blob Storage、およびSSH経由のリモートファイルシステムとのネイティブ統合をサポートしています。また、Rcloneを介して40以上の追加バックエンドもサポートしています。新しいバージョンをプッシュする際のストレージコストと転送コストを最小限に抑えるために、コンテンツの重複を防ぎ、アップロードされるファイル数を減らす特定のファイル構造設計を採用しています。

対象ユーザー

クラウドストレージやNFS上の大規模ファイルを管理し、データの変更を追跡し、バージョンをタグ付け、コミット間の差分を確認する必要があるデータサイエンティストやエンジニア。

特徴

• クラウドネイティブ: 専用サーバーを必要とせず、AWS、GCP、Azureと直接連携可能。
• 既存の認証を活用: aws configure や gcloud auth などの標準的なクラウドCLI設定を使用してアクセス。
• 効率的なストレージ: データの重複を削減し、更新時の転送速度を最適化。
• サーバーのオーバーヘッドなし: CLIツールとして完全に動作し、インフラ管理の必要がありません。
• 広範な互換性: ローカル、SSH、および40以上のRclone互換バックエンドをサポート。