nshiab/simple-data-analysis

解決的問題

SDA 是一個高性能的 TypeScript 庫，旨在為 JavaScript/TypeScript 生態系統帶來強大的資料分析能力。它消除了開發者在資料處理時需要在 Python（Pandas）或 R（Tidyverse）與 JavaScript 之間切換的必要，使從資料載入、清洗到分析和視覺化整個資料流程都能在單一語言中完成。

工作原理

SDA 基於 DuckDB 建構，這是一個嵌入式分析型資料庫，透過 duckdb-node-neo 執行 SQL 查詢。它採用受 Pandas 和 Tidyverse 啟發的鏈式、同步建構 API。為優化效能，SDA 將轉換作業排隊，並將相容的操作融合為單一 DuckDB 陳述式，以減少資料庫往返次數。它還延遲載入用於地理空間計算、模糊比對和向量搜尋的擴充功能。

適用對象

主要面向需要在 JS/TS 環境中對大型資料集進行複雜表格與地理空間分析的資料記者、研究人員與 TypeScript 開發者。

主要亮點

• 多模態資料支援：支援表格、地理空間與向量資料。
• AI 集成：包含逐行 LLM 處理、嵌入、向量相似度、混合搜尋與 RAG 方法。
• 公共資料連接器：內建支援直接從 Statistics Canada 與 OpenStreetMap 取得資料。
• 高效率：利用 DuckDB 高效處理數百萬筆記錄，效能通常優於傳統資料框工具。
• 視覺化：整合終端機圖表支援，並可匯出至 Observable Plot（PNG/SVG）、Google Sheets 與 Datawrapper。