Desbordante/desbordante-core

解决的问题

Desbordante 是一款高性能数据探查工具，旨在发现和验证数据集中的复杂模式。它帮助用户识别结构关系、数据质量问题以及隐藏的洞察，可用于科学假设生成、业务数据清洗和机器学习特征工程。

工作原理

该工具采用多种算法执行三大类任务：

• 发现：在数据集中识别特定模式类型的全部实例。
• 验证：检查特定模式实例是否存在，并在不存在时提供解释（例如，冲突的行）。
• 动态任务：针对某些特定模式的特殊变体，根据数据变化更新结果，而非重新处理整个表，显著提升速度。

支持大量模式类型，包括精确和近似函数依赖、包含依赖、关联规则、否定约束和差分依赖。

适用人群

• 数据科学家和机器学习工程师：用于机器学习训练数据的特征工程和消融研究。
• 业务分析师：用于清除数据错误、去除重复项和执行模式匹配。
• 研究人员：基于实验科学数据中发现的模式提出假设。
• 数据库管理员：用于恢复主键/外键并设置完整性约束。

主要亮点

• 丰富的模式库：支持数十种模式类型，包括概率性、模糊性和基于图的依赖。
• 多种接口：提供命令行工具、Python 库（可与 pandas DataFrames 集成）以及交互式 Web 应用程序。
• 高性能：采用 C++ 核心库，通过 pybind11 提供 Python 绑定，确保高效性。
• 实用的演示场景：内置逻辑支持拼写错误检测、数据去重和异常检测。