elixir-explorer/explorer

何を解決するか

Explorer は Elixir 言語向けに高速なデータ探索および操作機能を提供し、データ系列（1次元）とデータフレーム（2次元）をエコシステムに導入します。大規模なデータセットを Elixir 環境から離れることなく効率的に扱えるようにします。

動作方法

Explorer はプラグイン可能なバックエンドシステムを採用しており、デフォルトのバックエンドは Polars ライブラリへの NIF バインディングに基づいています。これにより、高速なデータ処理が保証されます。Tidy Data および dplyr に影響を受けた API を実装しており、データ操作のための制約付き「動詞」のセットを提供します。CSV、Parquet、NDJSON、Arrow IPC などのさまざまなデータフォーマットをネイティブでサポートし、ADBC を通じて外部データベースに接続したり、S3 ストレージに直接接続することも可能です。

対象ユーザー

アプリケーション内や Livebook などのインタラクティブ環境で構造化データの分析、データクリーニング、探索を必要とする Elixir 開発者向けに設計されています。

主な特徴

• 高速性: Polars ライブラリを基盤として、超高速な実行を実現。
• 言語的な洗練さ: Polars の高速性と "Elixir風" の不変 API を組み合わせ。
• 広範なフォーマット対応: Parquet、CSV、NDJSON、Arrow IPC のネイティブサポート。
• 柔軟な統合: ADBC を通じて S3 および外部データベースに接続可能。
• 強力な型システム: バイナリ、ブール値、日付、さまざまな整数/浮動小数点型を含む幅広い単純型の系列をサポート。