google/tensorstore

解決的問題

TensorStore 解決了管理與操作過大而無法放入記憶體的大型多維陣列的挑戰，特別是在雲端物件儲存或網路檔案系統等多樣化儲存系統中儲存時的問題。

工作原理

它提供了一個 C++ 和 Python 庫，為讀取和寫入各種陣列格式（例如 Zarr 和 N5）創建了一個統一的 API。它使用非同步 API，即使在處理高延遲的遠端儲存時也能保持高吞吐量，並實現樂觀併發，允許從多個流程或機器安全且高效地存取。

適用對象

從事大規模數值資料的科研人員與開發者，例如人工智慧和科學計算領域的人士，他們需要在本地或雲端儲存中高效存取多維陣列。

主要特色

• 多儲存支援：原生支援 Google Cloud Storage、Amazon S3、HTTP 伺服器、本地檔案系統以及記憶體儲存。
• 可組合索引：提供進階索引運算與虛擬檢視功能。
• ACID 保證：支援讀取快取與交易，具備強大的原子性、隔離性、一致性與耐久性。
• 高吞吐量：使用非同步 API 來緩解遠端儲存的延遲問題。