nshiab/simple-data-analysis

解决的问题

SDA 是一个高性能的 TypeScript 库，旨在为 JavaScript/TypeScript 生态系统带来强大的数据分析能力。它消除了开发者在数据处理时需要在 Python（Pandas）或 R（Tidyverse）与 JavaScript 之间切换的必要，使从数据加载、清洗到分析和可视化整个数据管道都能在单一语言中完成。

工作原理

SDA 基于 DuckDB 构建，这是一个嵌入式分析型数据库，通过 duckdb-node-neo 执行 SQL 查询。它采用受 Pandas 和 Tidyverse 启发的链式、同步构建 API。为优化性能，SDA 将转换操作排队，并将兼容的操作融合为单个 DuckDB 语句，以减少数据库往返次数。它还延迟加载用于地理空间计算、模糊匹配和向量搜索的扩展功能。

适用人群

主要面向需要在 JS/TS 环境中对大规模数据集进行复杂表格和地理空间分析的数据记者、研究人员和 TypeScript 开发者。

主要亮点

• 多模态数据支持：支持表格、地理空间和向量数据。
• AI 集成：包含逐行 LLM 处理、嵌入、向量相似度、混合搜索和 RAG 方法。
• 公共数据连接器：内置支持直接从 Statistics Canada 和 OpenStreetMap 获取数据。
• 高性能：利用 DuckDB 高效处理数百万条记录，性能通常优于传统数据框工具。
• 可视化：集成终端图表支持，并可导出为 Observable Plot（PNG/SVG）、Google Sheets 和 Datawrapper。