Desbordante/desbordante-core

解決的問題

Desbordante 是一款高效率的資料探查工具，專為在資料集中發現與驗證複雜模式而設計。協助使用者識別結構關係、資料品質問題，以及隱藏的洞察，可用於科學假說生成、商業資料清洗，以及機器學習特徵工程。

工作原理

該工具採用多種演算法，執行三種主要類型的任務：

• 發現：在資料集中識別特定模式類型的所有實例。
• 驗證：檢查特定模式實例是否存在，若不存在則提供解釋（例如，衝突的資料列）。
• 動態任務：針對特定模式的特殊變體，根據資料變動更新結果，而非重新處理整個資料表，大幅提高速度。

支援廣泛的模式類型，包括精確與近似函數依賴、包含依賴、關聯規則、否認約束，以及差異依賴。

適用對象

• 資料科學家與機器學習工程師：用於機器學習訓練資料的特徵工程與消融研究。
• 業務分析師：用於清除資料錯誤、移除重複資料，以及執行結構匹配。
• 研究人員：基於實驗性科學資料中發現的模式提出假說。
• 資料庫管理員：用於恢復主鍵/外鍵，並設定完整性約束。

主要特色

• 廣泛的模式圖書館：支援數十種模式類型，包括機率性、模糊性與圖形基礎的依賴。
• 多種介面：提供命令列工具、Python 套件（可與 pandas DataFrames 整合），以及互動式 Web 應用程式。
• 高效率：採用 C++ 核心函式庫，並透過 pybind11 提供 Python 繫結，確保高效運作。
• 實用的示範情境：內建邏輯支援拼字錯誤偵測、資料去重與異常偵測。