nshiab/simple-data-analysis

해결하는 문제

SDA는 JavaScript/TypeScript 생태계에 강력한 데이터 분석 기능을 제공하는 고성능 TypeScript 라이브러리입니다. 데이터 처리에는 Python(Pandas) 또는 R(Tidyverse)로 전환할 필요 없이, 데이터 로딩, 정제, 분석, 시각화에 이르기까지 단일 언어에서 전체 데이터 파이프라인을 완성할 수 있습니다.

작동 방식

SDA는 인-프로세스 분석 데이터베이스인 DuckDB 위에 구축되어 있으며, duckdb-node-neo를 통해 SQL 쿼리를 실행합니다. Pandas와 Tidyverse를 영감으로 받은 체이닝 가능하고 동기식 빌더 API를 사용합니다. 성능 최적화를 위해 변환 작업을 큐에 저장하고, 호환 가능한 작업을 하나의 DuckDB 문장으로 결합하여 데이터베이스 라운드트립을 줄입니다. 또한 지오스페이셜 계산, 퍼지 매칭, 벡터 검색용 확장 기능은 필요할 때 지연 로딩됩니다.

대상 사용자

대규모 데이터셋에 대해 복잡한 표 형식 및 지오스페이셜 분석을 JS/TS 환경에서 수행하고자 하는 데이터 저널리스트, 연구자, TypeScript 개발자에게 주로 대상입니다.

주요 기능

• 다중 모달 데이터 지원: 표 형식, 지오스페이셜, 벡터 데이터를 처리합니다.
• AI 통합: 행 단위 LLM 처리, 임베딩, 벡터 유사도, 하이브리드 검색, RAG를 위한 메서드 포함.
• 공개 데이터 커넥터: Statistics Canada 및 OpenStreetMap에서 직접 데이터를 가져오는 내장 지원.
• 고성능: 수백만 레코드를 효율적으로 처리하기 위해 DuckDB를 활용하며, 전통적인 데이터프레임 도구보다 빠른 성능을 발휘합니다.
• 시각화: 터미널 기반 차트 지원 및 Observable Plot(PNG/SVG), Google Sheets, Datawrapper로 내보내기 가능.