Oxen-AI/Oxen

해결하는 문제

Oxen은 대규모 데이터셋을 위해 특별히 설계된 데이터 버전 관리 시스템으로, Git과 Git LFS의 한계를 해결합니다. 사용자는 머신러닝 훈련 데이터와 모델 가중치를 포함한 대량의 데이터를 기존 버전 관리 시스템과 관련된 성능 병목 현상 없이 버전 관리, 변경 추적, 공동 작업을 할 수 있습니다.

작동 방식

Oxen은 Git과 유사한 인터페이스(init, add, commit, push와 같은 명령)를 사용하여 데이터 버전 관리를 코드 버전 관리만큼 직관적으로 만듭니다. 고성능을 위해 Rust로 구축되어 수십만 개의 파일을 몇 초 만에 인덱싱할 수 있습니다. 시스템은 다양한 데이터 유형(이미지, 오디오, 비디오, 텍스트, Parquet 파일과 같은 표 형식 데이터)을 지원하며, 특수 메타데이터 추출기와 머클 트리를 사용하여 빠른 액세스를 제공합니다. CLI, Python 패키지 또는 HTTP API를 통해 사용할 수 있으며, Oxen.ai에서 호스팅하거나 oxen-server를 통해 자체 호스팅할 수 있습니다.

대상 사용자

주로 훈련 및 평가를 위한 대규모 데이터셋을 관리하는 머신러닝 엔지니어와 데이터 과학자, 그리고 게임 자산이나 스튜디오 미디어를 다루는 개발자를 대상으로 합니다.

주요 특징

• Git과 유사한 인체공학: 익숙한 명령을 사용하여 Git을 아는 사람이라면 누구나 쉽게 채택할 수 있습니다.
• 고성능: 수백만 개의 파일과 테라바이트 규모의 데이터 인덱싱 및 동기화에 최적화되어 있습니다.
• 네이티브 표 형식 데이터 처리: CSV, Parquet, JSONL 파일의 인덱싱 및 쿼리에 특화되어 설계되었습니다.
• 유연한 배포: CLI, Python 바인딩, 자체 호스팅 옵션을 지원합니다.
• 크로스 플랫폼 지원: CLI와 Python 클라이언트는 Linux, macOS, Windows에서 작동합니다.