google/tensorstore

它解决了什么问题

TensorStore 解决了管理与操作大型多维数组的挑战，这些数组太大而无法完全放入内存，尤其是在存储在云对象存储或网络文件系统等不同存储系统中时。

它如何工作

它提供了一个 C++ 和 Python 库，为读取和写入各种数组格式（如 Zarr 和 N5）创建了统一的 API。它使用异步 API，即使在处理高延迟的远程存储时也能保持高吞吐量，并实现了乐观并发，允许多个进程或机器安全高效地访问数据。

适用于谁

需要在本地或云存储中对大规模数值数据（如人工智能和科学计算领域）进行高性能多维数组访问的研究人员和开发者。

主要特性

• 多存储支持：原生支持 Google Cloud Storage、Amazon S3、HTTP 服务器、本地文件系统和内存存储。
• 可组合索引：提供高级索引操作和虚拟视图。
• ACID 保证：支持读取缓存和事务，具备强原子性、隔离性、一致性和持久性。
• 高吞吐量：使用异步 API 来缓解远程存储的延迟问题。