techascent/tech.ml.dataset

解決的問題

tech.ml.dataset（TMD）是專為 JVM 上高效率表格資料處理設計的 Clojure 庫。它提供函數式方法來處理大型資料集，作為 Python 的 Pandas 或 R 的 data.table 等工具的 JVM 替代方案。

工作原理

TMD 使用欄式儲存、原生陣列、壓縮的日期時間類型與字串表，以減少記憶體使用並提升處理速度。與 Python 或 R 中的傳統資料框不同，TMD 資料集是函數式的，使得資料操作時更容易推理。

適用對象

使用 Clojure 或 Java 並需要在 JVM 上高效處理資料密集型工作負載的資料科學家與開發人員。

特色亮點

• 欄式儲存：透過高效的資料配置減少記憶體使用。
• 函數式 API：提供可預測的函數式介面，用於資料操作。
• JVM 整合：與 Clojure 完全相容，並提供 Java API 以整合至 Java 專案中。
• 高效率：使用原生陣列進行優化，兼顧速度與記憶體效率。