google/tensorstore

What it solves

TensorStoreは、メモリに収まりきらないほど巨大な多次元配列の管理と操作の課題を解決します。特に、クラウドオブジェクトストアやネットワークファイルシステムのような多様なストレージシステムにまたがって保存されている場合に、その課題が顕著になります。

How it works

TensorStoreは、さまざまな配列フォーマット（ZarrやN5など）を読み書きするための統一されたAPIを提供します。非同期APIを使用することで、高レイテンシのリモートストレージを扱う場合でも高いスループットを維持し、楽観的並行処理を組み合わせることで、複数のプロセスやマシンから安全かつ効率的なアクセスを可能にします。

Who it’s for

AIや科学技術計算の分野で、大規模な数値データを扱う研究者や開発者で、ローカルまたはクラウドストレージにまたがって多次元配列への高パフォーマンス・アクセスが必要な人々をに対して向けられています。

Highlights

• Multi-storage support: Natively supports Google Cloud Storage, Amazon S3, HTTP servers, local filesystems, and in-memory storage.
• Composable Indexing: Offers advanced indexing operations and and virtual views.
• ACID Guarantees: Supports read caching and transactions with strong atomicity, isolation, consistency, and durability.
• High Throughput: Uses an asynchronous API to mitigate latency issues with remote storage.