Oxen-AI/Oxen

해결하는 문제

Oxen은 대규모 데이터셋을 위해 특별히 설계된 데이터 버전 관리 시스템입니다. Git LFS와 같은 도구는 수백만 개의 파일이나 테라바이트 규모의 데이터(특히 머신러닝 학습 데이터 및 모델 가중치)를 다룰 때 느리고 다루기 어려운 성능 저하와 사용성 문제를 겪지만, Oxen은 이를 해결합니다.

작동 방식

Oxen은 init, add, commit, push와 같은 명령어를 사용하는 Git과 유사한 인터페이스를 제공하여 데이터를 버전 관리합니다. 고성능을 위해 Rust로 구현되었으며 CLI, Python 패키지, HTTP API를 제공합니다. 메르클 트리를 사용해 메타데이터를 캐시하여 빠른 접근을 가능하게 하며, 다양한 파일 유형을 위한 전용 추출기(Extractor)도 제공합니다. 사용자는 Oxen.ai에 데이터를 호스팅하거나 oxen-server를 사용해 자체 호스팅할 수 있습니다.

대상 사용자

주로 이미지, 오디오, 비디오, 텍스트, 표 형식 데이터와 같은 대규모 데이터셋을 버전 관리하고 팀과 협업이 필요한 머신러닝 엔지니어와 데이터 과학자에게 적합합니다.

주요 특징

• Git과 유사한 사용성: 익숙한 명령어를 사용해 Git을 아는 사용자라면 쉽게 도입할 수 있습니다.
• 고성능: 수십만 개의 파일을 초당 인덱싱 및 동기화하도록 최적화되어 있습니다.
• 광범위한 데이터 지원: 모델 가중치, Parquet, JSONL, 미디어 파일 등 대용량 파일을 처리할 수 있습니다.
• 표 형식 데이터의 네이티브 처리: CSV, Parquet, JSONL 파일을 네이티브로 인덱싱 및 쿼리할 수 있습니다.
• 유연한 배포 옵션: 관리형 클라우드 서비스(Oxen.ai)와 oxen-server를 통한 자체 호스팅을 모두 지원합니다.