TileDB-Inc/TileDB

解決する課題

TileDB は、複雑で高次元のデータを保存およびアクセスする際の困難を解決します。データを密または疎の多次元配列としてモデル化する方法を提供します。これはほとんどのデータサイエンスツールのネイティブ形式であり、それによって複雑なデータ管理やストレージの抽象化の必要性を排除します。

仕組み

これは、チャンク化（タイル化）された配列に基づく「汎用ストレージエンジン」を実装した、組み込み可能な C++ ライブラリです。密配列および疎配列の両方の形式と、データフレーム、キーバリューストアをサポートしています。このエンジンには、クラウドストレージ（AWS S3、Google Cloud Storage、Azure Blob Storage）、マルチスレッド、並列 IO、および迅速な更新と「タイムトラベル」のためのデータバージョニングの組み込みサポートが含まれています。

対象者

ジェノミクス、地理空間分析、金融などの分野で大規模な複雑なデータを扱う開発者やデータサイエンティスト向けに設計されています。

ハイライト

• 密および疎の多次元配列のサポート
• ネイティブなクラウドストレージ統合（S3、GCS、Azure）
• データバージョニングとタイムトラベル機能
• 並列 IO を備えたマルチスレッド実装
• Python、R、Java、Go、C# を含む幅広い API サポート
• Spark、Dask、MariaDB、GDAL との統合