earth-mover/icechunk

解決的問題

Icechunk 提供一個針對張量與 ND 陣列資料的交易式儲存引擎，專為雲端物件儲存設計。解決多個未協調的程序並行讀取與寫入 Zarr 資料時所產生的一致性與安全性問題，使 Zarr 儲存庫能更像具有可序列化隔離的資料庫般運作。

工作原理

Icechunk 在 Zarr 金鑰與實際磁碟儲存之間加入一層間接層。不將 Zarr 金鑰直接對應到檔案名稱，而是管理一組不可變的元資料與資料檔案，包含一個明確追蹤每個資料區塊的「區塊清單」。這讓它能實作交易，更新以原子方式提交，且在交易完成前對讀取者不可見。

適用對象

專為處理大規模多維陣列（張量）並需要使用 Zarr 標準實現可靠、協作式雲端儲存的資料科學家、AI/ML 工程師與科學計算研究人員設計。

主要特色

• 可序列化隔離：讀取操作與並行寫入隔離，確保使用者永遠看到已提交的快照。
• 資料版本控制：支援分支（可變參考）與標籤（不可變參考），用以管理資料集的不同版本。
• 時間旅行：新更新後，先前的倉儲快照仍可存取。
• 區塊分片：將區塊儲存與檔案名稱解耦，允許多個區塊打包至單一物件中，提升效能。
• 虛擬資料集：可引用其他格式（如 HDF5 或 NetCDF）中的區塊，而無需修改原始檔案。