elixir-explorer/explorer

해결하는 문제

Explorer는 Elixir 언어를 위한 빠른 데이터 탐색 및 조작 기능을 제공하며, 데이터 시리즈(1차원)와 데이터프레임(2차원)을 생태계에 도입합니다. 개발자들이 Elixir 환경을 벗어나지 않고도 대규모 데이터셋을 효율적으로 처리할 수 있게 해줍니다.

작동 방식

Explorer는 플러그인 가능한 백엔드 시스템을 사용하며, 기본 백엔드는 Polars 라이브러리에 대한 NIF 바인딩을 기반으로 하여 고성능 데이터 처리를 보장합니다. Tidy Data와 dplyr에 영향을 받은 API를 구현하여 데이터 조작을 위한 제약된 "동사" 세트를 제공합니다. CSV, Parquet, NDJSON, Arrow IPC 등의 다양한 데이터 형식을 지원하며, ADBC를 통해 외부 데이터베이스에 통합하거나 S3 스토리지에 직접 연결할 수 있습니다.

대상 사용자

애플리케이션 내부 또는 Livebook과 같은 인터랙티브 환경에서 구조화된 데이터의 분석, 정제, 탐색이 필요한 Elixir 개발자들을 위한 것입니다.

주요 특징

• 고성능: Polars 라이브러리를 기반으로 초고속 실행을 구현.
• 언어적 우아함: Polars의 속도와 "Elixir스러운" 불변 API를 결합.
• 광범위한 형식 지원: Parquet, CSV, NDJSON, Arrow IPC의 네이티브 지원.
• 유연한 통합: ADBC를 통해 S3 및 외부 데이터베이스에 연결 가능.
• 강력한 타이핑: 바이너리, 불리언, 날짜, 다양한 정수/부동소수점 크기의 단순 타입 시리즈를 지원.