elixir-explorer/explorer

解決的問題

Explorer 為 Elixir 語言提供快速的資料探索與操作功能，將系列（1D）與資料框（2D）引入生態系。讓開發者能在不離開 Elixir 環境的情況下，高效處理大型資料集。

運作方式

Explorer 使用可插入的後端系統，其預設後端基於 Polars 庫的 NIF 綁定，確保高效率的資料處理。它實作受 Tidy Data 與 dplyr 影響的 API，提供一組受限制的「動詞」用於資料操作。該庫支援多種資料格式，包括 CSV、Parquet、NDJSON 與 Arrow IPC，並可透過 ADBC 與外部資料庫整合，或直接連接至 S3 儲存空間。

適用對象

專為需要在其應用程式中或 Livebook 等互動式環境中進行結構化資料分析、清洗與探索的 Elixir 開發者所設計。

主要特色

• 高效率：基於 Polars 庫，實現超快執行速度。
• 語言優雅性：結合 Polars 的速度與「Elixir 風格」的不可變 API。
• 廣泛格式支援：原生支援 Parquet、CSV、NDJSON 與 Arrow IPC。
• 彈性整合：透過 ADBC 連接 S3 與外部資料庫。
• 強型別支援：支援多種簡單型別系列，包括二進位、布林值、日期以及各種整數/浮點數大小。