vaexio/vaex

Out-of-Core hybrid Apache Arrow/NumPy DataFrame for Python, ML, visualization and exploration of big tabular data at a billion rows per second 🚀

해결하는 문제

Vaex는 컴퓨터의 사용 가능한 메모리를 초과하는 대규모 테이블 형식 데이터 세트를 작업하는 문제를 해결합니다. 데이터 복사와 같은 메모리 집약적 작업을 피함으로써 클러스터 없이 표준 노트북에서 수십억 행을 시각화하고 분석할 수 있습니다.

작동 방식

Vaex는 "지연 평가"와 메모리 매핑이라는 기술을 사용합니다. 전체 데이터 세트를 RAM에 로드하는 대신 데이터를 디스크에 유지하고 계산이나 시각화를 수행할 때 필요한 부분만 스트리밍합니다. N차원 그리드를 사용하여 데이터를 처리하며, 합계 및 평균과 같은 통계를 초당 10억 행 이상의 속도로 계산할 수 있습니다.

대상 사용자

Python을 사용하여 매우 큰 데이터 세트(기가바이트 이상)를 탐색, 처리 및 시각화해야 하지만 분산 컴퓨팅 클러스터의 복잡성과 하드웨어 요구 사항을 피하려는 데이터 과학자와 분석가를 위해 설계되었습니다.

주요 기능

  • 메모리 매핑을 사용한 대용량 데이터 파일의 즉시 열기.
  • 메모리를 절약하기 위해 필요할 때만 데이터를 변환하는 지연 표현식 시스템.
  • 고성능, 병렬화된 groupby 연산 및 조인.
  • 히스토그램 및 밀도 플롯을 포함한 대화형 시각화의 기본 지원.
  • Jupyter 노트북 및 Voila와의 원활한 통합으로 대시보드 구축.

관련

  • 프로젝트
    MariaDB/server

    MySQL 호환성을 제공하며 네이티브 벡터 검색 및 플러그형 스토리지 엔진과 같은 고급 기능을 제공하는 오픈 소스 관계형 데이터베이스입니다.

  • 프로젝트
    OpenDCAI/DataFlow

    DataFlow는 재사용 가능한 연산자 기반 파이프라인을 통해 LLM을 위한 고품질 학습 데이터를 생성, 정제 및 준비하는 시각적 로우코드 시스템을 제공하는 데이터 중심 AI 프레임워크입니다.

  • 프로젝트
    jeecgboot/jimureport

    JimuReport은 무료 오픈소스 Java 기반 BI 제품군(Spring Boot 스타터)으로, 사용자가 드래그 앤 드롭으로 보고서, 대시보드, 대형 화면 디스플레이를 설계할 수 있습니다. AI 어시스턴트(Claude Code 또는 OpenAI 호환 모델)가 추가되어 자연어 프롬프트에서 시각화를 생성하거나 수정할 수 있으며, 대화형 Chat2BI 인터페이스도 포함합니다. 30개 이상의 데이터 소스(중국 '신창' 데이터베이스 포함), 모바일 렌더링, 인쇄, 데이터 입력을 지원합니다. LGPL 3 라이선스이며 상용 라이선스도 선택할 수 있습니다.

  • 프로젝트
    fengdu78/Data-Science-Notes

    데이터 사이언스 학습 노트 및 자료 모음으로, 주제별로 디렉토리를 나누어 수학, Python, NumPy, Pandas, SciPy, 시각화, Scikit-learn, 머신러닝, 딥러닝, 피처 엔지니어링을 다루며, 여러 고전 교재와 오픈소스 프로젝트를 참고했습니다.