hosseinmoein/DataFrame

해결하는 문제

DataFrame는 메모리 내 데이터 탐색, 변환, 통계 분석을 위한 고성능 C++ 라이브러리입니다. Pandas나 Polars와 같은 파이썬 기반 도구에 따르는 오버헤드를 피하면서, 엑셀이나 SQL 테이블과 유사한 표 형식 데이터를 C++에서 효율적으로 다룰 수 있는 방법을 제공합니다. 특히 대규모 데이터셋과 성능이 중요한 애플리케이션에 적합합니다.

작동 방식

이 라이브러리는 열을 일급 시민으로 취급하는 템플릿화된 이종 컨테이너를 구현합니다. 이는 행 기반 처리보다 열에 대한 연산과 접근이 훨씬 효율적이도록 보장합니다. 성능을 극대화하기 위해 엄격한 메모리 원칙을 따릅니다: 열 데이터는 연속된 메모리 공간에 유지되며, 불필요한 데이터 복사와 포인터(예: 링크드 리스트 또는 std::any), 유니온, std::variant 사용을 피합니다.

대상 사용자

통계, 머신러닝, 금융 애플리케이션을 위한 효율적인 표 형식 데이터 처리가 필요한 데이터 과학자, 정량적 트레이더, C++ 개발자에게 적합합니다.

주요 특징

• 다차원 지원: 열은 임의의 타입의 벡터(다른 DataFrame 포함)를 포함할 수 있어, 임의의 차원 구조를 지원합니다.
• 풍부한 분석 도구 세트: 기본 통계(평균, 표준편차), 고급 분석(PCA, FFT, 고유값), 다양한 거래 지표를 위한 내장 방문자(Visitor)를 제공합니다.
• 고성능: 대규모 데이터셋을 위한 광범위한 멀티스레딩을 활용하며, 수십억 행의 데이터를 처리할 수 있도록 메모리 효율성을 최적화했습니다.
• 오픈엔드 API: 사용자가 자신의 맞춤 알고리즘을 쉽게 통합할 수 있도록 유연한 API를 제공합니다.
• 자체 완결형: C++ 언어와 표준 라이브러리만 의존하며, 외부 종속성은 없습니다.