TileDB-Inc/TileDB

解決的問題

TileDB 解決了儲存與存取複雜、高維度資料的難題。它提供了一種將資料建模為密集或稀疏多維陣列的方法，這是多數資料科學工具的原生格式，從而消除了對複雜資料管理與儲存抽象的需求。

運作方式

它是一個可嵌入的 C++ 函式庫，實作了基於分塊（平鋪）陣列的「通用儲存引擎」。它支援密集與稀疏陣列格式，以及資料框與鍵值儲存。該引擎內建了對雲端儲存（AWS S3、Google Cloud Storage、Azure Blob Storage）、多執行緒、平行 IO 以及資料版本控制的支援，以實現快速更新與「時間旅行」。

適用對象

它專為在基因體學、地理空間分析與金融等領域中處理大規模複雜資料的開發人員與資料科學家所設計。

亮點

• 支援密集與稀疏多維陣列
• 原生雲端儲存整合（S3、GCS、Azure）
• 資料版本控制與時間旅行功能
• 具備平行 IO 的多執行緒實作
• 廣泛的 API 支援，包含 Python、R、Java、Go 與 C#
• 與 Spark、Dask、MariaDB 與 GDAL 的整合