techascent/tech.ml.dataset

해결하는 문제

tech.ml.dataset (TMD) 는 JVM 위에서 고성능 표 형식 데이터 처리를 위한 Clojure 라이브러리입니다. 대규모 데이터셋을 다루기 위한 함수형 접근 방식을 제공하며, Python 의 Pandas 나 R 의 data.table 과 같은 도구에 대한 JVM 기반 대안을 제공합니다.

작동 방식

TMD 는 열 기반 저장, 원시 배열, 압축된 날짜/시간 형식, 문자열 테이블을 사용하여 메모리 사용량을 줄이고 처리 속도를 높입니다. Python 또는 R 의 전통적인 데이터 프레임과 달리 TMD 데이터셋은 함수형이므로 데이터 조작 시 논리적으로 더 쉽게 이해할 수 있습니다.

대상 사용자

Clojure 또는 Java 를 사용하여 JVM 상에서 데이터 집약적인 워크로드를 효율적으로 처리해야 하는 데이터 과학자 및 개발자.

주요 특징

• 열 기반 저장: 효율적인 데이터 레이아웃으로 메모리 사용량을 줄입니다.
• 함수형 API: 데이터 조작을 위한 예측 가능한 함수형 인터페이스를 제공합니다.
• JVM 통합: Clojure 와 완전 호환되며, Java 프로젝트에 통합하기 위한 Java API 를 제공합니다.
• 고성능: 원시 배열을 활용한 속도와 메모리 효율성 최적화.