elixir-explorer/explorer

解决的问题

Explorer 为 Elixir 语言提供了快速的数据探索和操作能力，将系列（1D）和数据框（2D）引入生态系统。它使开发者能够在不离开 Elixir 环境的情况下高效处理大型数据集。

工作原理

Explorer 使用可插拔的后端系统，其默认后端基于 Polars 库的 NIF 绑定，确保高性能数据处理。它实现了受 Tidy Data 和 dplyr 启发的 API，提供一组受约束的「动词」用于数据操作。该库支持多种数据格式，包括 CSV、Parquet、NDJSON 和 Arrow IPC，并可通过 ADBC 与外部数据库集成，或直接连接到 S3 存储。

适用人群

专为需要在其应用程序中或 Livebook 等交互式环境中进行结构化数据的分析、清洗和探索的 Elixir 开发者设计。

主要亮点

• 高性能：基于 Polars 库，实现超快执行速度。
• 语言优雅性：结合 Polars 的速度与 "Elixir 风格" 的不可变 API。
• 广泛格式支持：原生支持 Parquet、CSV、NDJSON 和 Arrow IPC。
• 灵活集成：通过 ADBC 连接 S3 和外部数据库。
• 强类型支持：支持多种简单类型系列，包括二进制、布尔值、日期以及各种整数/浮点数大小。