StatMixedML/LightGBMLSS

解决的问题

LightGBMLSS 扩展了 LightGBM，使其支持概率建模。与仅预测单点估计（如均值或中位数）不同，它基于协变量预测目标变量的完整条件分布。这使得用户能够推导出预测区间和分位数，从而更全面地理解预测中的不确定性。

工作原理

该框架使用 PyTorch 和 Pyro 来建模广泛的连续、离散以及混合离散-连续分布。它利用 PyTorch 的 autograd 自动推导所有分布参数的梯度和海森矩阵，并将其用于 LightGBM 优化目标函数。同时，它还支持高级建模技术，如用于复杂多峰分布的归一化流（Normalizing Flows）和用于多样化数据特征的混合密度（Mixture-Densities）。

适用人群

需要超越点预测、并为单变量目标变量提供带不确定性估计的概率预测的数据科学家和研究人员。

主要亮点

• 广泛的分布支持：支持多种分布，包括适用于零值过多数据的零调整型（Zero-Adjusted）和零膨胀型（Zero-Inflated）分布。
• 自动微分：使用 PyTorch 自动计算分布参数的梯度和海森矩阵。
• 高级建模：包含归一化流和混合密度，适用于复杂数据分布。
• 集成工具：与 Optuna 集成以实现自动超参数搜索，与 SHAP 集成以提供模型可解释性。
• LightGBM 兼容性：完全兼容所有现有的 LightGBM 功能和特性。