datasets: 它是什麼、解決了什麼問題以及為什麼它正受到關注

解決了什麼問題

🤗 Datasets 是一個輕量級的函式庫，旨在簡化機器學習中存取與準備數據的過程。它解決了數據格式碎片化，以及在不同模態（文本、音訊、圖像、影片和 3D 醫療影像）之間下載與預處理大規模公開數據集的困難。

如何運作

該函式庫提供了一個以 load_dataset() 函式為核心的統一 API，允許使用者從 Hugging Face Hub 或本地文件下載並準備數據集。它使用 Apache Arrow 作為後端進行零拷貝記憶體映射存儲，這消除了 RAM 的限制。對於極大型數據集，它提供了「串流模式」來即時迭代數據，而無需將整個數據集下載到磁碟中。

對象是誰

它是為機器學習從業者、研究人員和數據科學家而構建的，這些人需要使用 PyTorch、TensorFlow、JAX、NumPy、Pandas 和 Polars 等框架來高效地載入、處理並將數據集整合到訓練或評估流程中。

重點特性

• 一行指令載入：透過 Hugging Face Hub 快速存取數千個公開數據集。
• 多模態支持：原生處理文本、音訊、圖像、影片、PDF 和 NIfTI (3D 醫療) 數據。
• 串流模式：無需完整下載即可迭代海量數據集，顯著減少等待時間。
• 高效預處理：使用具有多處理支持的 .map() 函式進行快速、並行的數據操作。
• 多框架互操作性：在各種數據科學函式庫與機器學習框架之間進行無縫轉換。
• 智能快取：自動重複使用快取結果以避免冗餘處理。