google/tensorstore

해결하는 문제

TensorStore는 메모리에 모두 올릴 수 없을 정도로 큰 다차원 배열을 관리하고 조작하는 문제를 해결하며, 특히 클라우드 객체 스토리지나 네트워크 파일 시스템과 같은 다양한 저장 시스템에 저장된 데이터에 대해 효과적으로 작동합니다.

작동 방식

C++ 및 Python 라이브러리를 제공하여 Zarr 및 N5와 같은 다양한 배열 형식을 읽고 쓰는 데 사용할 수 있는 통일된 API를 제공합니다. 고지연 시간의 원격 저장소를 다룰 때도 높은 처리량을 유지하기 위해 비동기 API를 사용하며, 낙관적 동시성 제어를 구현하여 여러 프로세스나 머신에서 안전하고 효율적인 접근을 가능하게 합니다.

대상 사용자

AI 및 과학 계산 분야와 같이 대규모 수치 데이터를 다루는 연구자 및 개발자로, 로컬 또는 클라우드 저장소를 통해 다차원 배열에 고성능으로 접근이 필요한 사용자를 대상으로 합니다.

주요 기능

• 다양한 저장소 지원: Google Cloud Storage, Amazon S3, HTTP 서버, 로컬 파일 시스템, 메모리 내 저장소를 네이티브로 지원합니다.
• 조합 가능한 인덱싱: 고급 인덱싱 연산과 가상 뷰를 제공합니다.
• ACID 보장: 강력한 원자성, 격리성, 일관성, 내구성을 갖춘 읽기 캐시 및 트랜잭션을 지원합니다.
• 고처리량: 원격 저장소의 지연 문제를 완화하기 위해 비동기 API를 사용합니다.