techascent/tech.ml.dataset

何を解決するか

tech.ml.dataset (TMD) は JVM 上での高速な表形式データ処理を目的とした Clojure ライブラリです。大規模なデータセットを扱うための関数型アプローチを提供し、Python の Pandas や R の data.table などのツールに対する JVM ベースの代替手段として機能します。

動作方法

TMD は列指向ストレージとプリミティブ配列、圧縮された日時型、文字列テーブルを使用してメモリ使用量を削減し、処理速度を向上させます。Python や R の従来のデータフレームとは異なり、TMD のデータセットは関数型であるため、データ操作の際に論理的に扱いやすくなります。

対象ユーザー

Clojure や Java を使用し、JVM 上でデータ集約的なワークロードを効率的に処理したいデータサイエンティストや開発者。

特徴

• 列指向ストレージ: 効率的なデータレイアウトによりメモリ使用量を削減。
• 関数型 API: データ操作に予測可能な関数型インターフェースを提供。
• JVM 統合: Clojure と完全に互換性があり、Java プロジェクトへの統合のために Java API を提供。
• 高速性: プリミティブ配列を活用した速度とメモリ効率の最適化。