vaexio/vaex
Out-of-Core hybrid Apache Arrow/NumPy DataFrame for Python, ML, visualization and exploration of big tabular data at a billion rows per second 🚀
解決する問題
Vaex は、コンピュータの利用可能なメモリを超える大規模な表形式データセットを扱う問題を解決します。データコピーなどのメモリを大量に消費する操作を回避することで、クラスタを必要とせずに、標準的なラップトップで数十億行を可視化・分析できます。
仕組み
Vaex は「遅延評価」とメモリマッピングと呼ばれる技術を使用します。データセット全体を RAM にロードする代わりに、データをディスクに保持し、計算や可視化を実行するときに必要な部分のみをストリーミングします。N 次元グリッドを使用してデータを処理し、合計や平均などの統計量を毎秒 10 億行以上の速度で計算できます。
対象ユーザー
Python を使用して非常に大規模なデータセット（ギガバイト以上）を探索、処理、可視化する必要があるが、分散コンピューティングクラスタの複雑さとハードウェア要件を回避したいデータサイエンティストやアナリスト向けに設計されています。
ハイライト
- メモリマッピングによる巨大なデータファイルの即時オープン。
- 必要なときだけデータを変換してメモリを節約する遅延式システム。
- 高性能で並列化された groupby 操作と結合。
- ヒストグラムや密度プロットを含むインタラクティブな可視化のネイティブサポート。
- Jupyter ノートブックと Voila とのシームレスな統合によるダッシュボード構築。
関連
- プロジェクト
- プロジェクト
- プロジェクト
- プロジェクト