nshiab/simple-data-analysis

何を解決するか

SDA は、JavaScript/TypeScript エコシステムに強力なデータ分析機能をもたらす、高性能な TypeScript ライブラリです。データ処理には Python（Pandas）や R（Tidyverse）に切り替える必要がなく、データの読み込み・クリーニングから分析・可視化まで、単一の言語で完結できるデータパイプラインを実現します。

動作方法

SDA は、インプロセス分析データベースである DuckDB を基盤としており、duckdb-node-neo を通じて SQL クエリを実行します。Pandas や Tidyverse をインスパイアした、チェーン可能で同期的なビルダーアプリケーションインターフェース（API）を使用しています。パフォーマンス最適化のため、変換処理をキューに登録し、互換性のある操作を1つの DuckDB ステートメントに統合して、データベースへのラウンドトリップを削減します。また、ジオスペース計算、曖昧一致、ベクトル検索の拡張機能は、必要に応じて遅延ロードされます。

対象ユーザー

主に、大規模なデータセットに対して複雑な表形式およびジオスペース分析を JS/TS 環境で行いたいデータジャーナリスト、研究者、TypeScript 開発者を対象としています。

主な特徴

• マルチモーダルデータ対応：表形式データ、ジオスペースデータ、ベクトルデータを扱えます。
• AI 統合：行単位の LLM 処理、埋め込み、ベクトル類似度、ハイブリッド検索、RAG 用メソッドを備えています。
• 公開データ接続子：Statistics Canada および OpenStreetMap から直接データを取得するための組み込みサポート。
• 高パフォーマンス：DuckDB を活用して数百万レコードの処理を効率的に行い、従来のデータフレームツールを上回る性能を発揮します。
• 可視化：ターミナルベースのチャートを統合サポートし、Observable Plot（PNG/SVG）、Google Sheets、Datawrapper へのエクスポートも可能。