TileDB-Inc/TileDB

해결하는 문제

TileDB는 복잡하고 고차원 데이터를 저장하고 액세스하는 어려움을 해결합니다. 데이터를 밀집 또는 희소 다차원 배열로 모델링하는 방법을 제공하며, 이는 대부분의 데이터 과학 도구에 대한 기본 형식이므로 복잡한 데이터 관리 및 스토리지 추상화의 필요성을 제거합니다.

작동 방식

청크화된(타일화된) 배열을 기반으로 "범용 스토리지 엔진"을 구현하는 임베디드 가능한 C++ 라이브러리입니다. 밀집 및 희소 배열 형식과 데이터프레임 및 키-값 저장소를 모두 지원합니다. 이 엔진은 클라우드 스토리지(AWS S3, Google Cloud Storage, Azure Blob Storage), 멀티스레딩, 병렬 IO 및 빠른 업데이트와 "시간 여행"을 위한 데이터 버전 관리에 대한 기본 지원을 포함합니다.

대상 사용자

유전학, 지리공간 분석, 금융과 같은 분야에서 대규모 복잡 데이터를 다루는 개발자 및 데이터 과학자를 위해 설계되었습니다.

주요 특징

• 밀집 및 희소 다차원 배열 지원
• 네이티브 클라우드 스토리지 통합(S3, GCS, Azure)
• 데이터 버전 관리 및 시간 여행 기능
• 병렬 IO를 갖춘 멀티스레드 구현
• Python, R, Java, Go 및 C#을 포함한 폭넓은 API 지원
• Spark, Dask, MariaDB 및 GDAL과의 통합