vaexio/vaex
Out-of-Core hybrid Apache Arrow/NumPy DataFrame for Python, ML, visualization and exploration of big tabular data at a billion rows per second 🚀
解决的问题
Vaex 解决了处理超出计算机可用内存的大规模表格数据集的问题。它允许你在标准笔记本电脑上可视化和分析数十亿行数据，而无需集群，通过避免数据复制等内存密集型操作。
工作原理
Vaex 使用一种称为“惰性求值”和内存映射的技术。它不是将整个数据集加载到内存中，而是将数据保留在磁盘上，并且仅在进行计算或可视化时流式传输必要的部分。它使用 N 维网格处理数据，使其能够以每秒超过十亿行的速度计算统计量，如总和和平均值。
适用人群
它专为需要使用 Python 探索、处理和可视化极大数据集（千兆字节或更大）的数据科学家和分析师设计，但希望避免分布式计算集群的复杂性和硬件要求。
亮点
- 使用内存映射即时打开大型数据文件。
- 惰性表达式系统，仅在需要时转换数据以节省内存。
- 高性能、并行化的分组操作和连接。
- 原生支持交互式可视化，包括直方图和密度图。
- 与 Jupyter 笔记本和 Voila 无缝集成，用于构建仪表板。
相关
- 项目
- 项目
- 项目
- 项目