TileDB-Inc/TileDB

解决的问题

TileDB 解决了存储和访问复杂、高维数据的难题。它提供了一种将数据建模为密集或稀疏多维数组的方法，这是大多数数据科学工具的原生格式，从而消除了对复杂数据管理和存储抽象的需求。

工作原理

它是一个可嵌入的 C++ 库，实现了基于分块（平铺）数组的“通用存储引擎”。它支持密集和稀疏数组格式，以及数据框和键值存储。该引擎内置了对云存储（AWS S3、Google Cloud Storage、Azure Blob Storage）、多线程、并行 IO 和数据版本控制的支持，以实现快速更新和“时间旅行”。

适用人群

它专为在基因组学、地理空间分析和金融等领域处理大规模复杂数据的开发人员和数据科学家而设计。

亮点

• 支持密集和稀疏多维数组
• 原生云存储集成（S3、GCS、Azure）
• 数据版本控制和时间旅行功能
• 具有并行 IO 的多线程实现
• 广泛的 API 支持，包括 Python、R、Java、Go 和 C#
• 与 Spark、Dask、MariaDB 和 GDAL 的集成