InfuseAI/ArtiVC

해결하는 문제

ArtiVC는 Git이 코드를 관리하는 방식과 유사하게 클라우드 스토리지에서 대규모 데이터셋을 버전 관리할 수 있는 방법을 제공합니다. 별도의 서버나 게이트웨이가 필요 없으며, 파일의 저장 위치를 변경하지 않고 데이터의 스냅샷을 찍고 다양한 버전 간을 전환할 수 있습니다.

작동 방식

기존 클라우드 환경과 통합되는 명령줄 도구로 작동합니다. AWS S3, Google Cloud Storage, Azure Blob Storage 및 SSH를 통한 원격 파일 시스템과의 네이티브 통합을 지원합니다. 또한 Rclone을 통해 40개 이상의 추가 백엔드도 지원합니다. 새로운 버전을 푸시할 때 저장소 및 전송 비용을 최소화하기 위해, 콘텐츠 중복을 방지하고 업로드되는 파일 수를 줄이는 특수한 파일 구조 설계를 사용합니다.

대상 사용자

클라우드 스토리지 또는 NFS에서 대규모 파일을 관리하고, 데이터의 변경 사항을 추적하고, 버전을 태그하며 커밋 간의 차이를 비교할 필요가 있는 데이터 과학자 및 엔지니어.

주요 특징

• 클라우드 네이티브: 전용 서버 없이 AWS, GCP, Azure와 직접 연동 가능.
• 기존 인증 활용: aws configure 또는 gcloud auth와 같은 표준 클라우드 CLI 설정을 사용해 접근.
• 효율적인 저장소: 데이터 중복을 줄이고 업데이트 시 전송 속도를 최적화.
• 서버 오버헤드 없음: CLI 도구로만 작동하여 인프라 관리의 필요 없음.
• 광범위한 호환성: 로컬, SSH, 그리고 40개 이상의 Rclone 호환 백엔드 지원.