StatMixedML/LightGBMLSS

解决的问题

LightGBMLSS 扩展了 LightGBM，使其支持概率建模。标准梯度提升机通常只预测单一的点估计值，而 LightGBMLSS 允许用户基于协变量对目标变量的完整条件分布进行建模和预测。这使得可以生成概率预测，从而推导出预测区间和感兴趣的特定分位数。

工作原理

该框架基于 PyTorch 和 Pyro，利用 PyTorch 的 autograd 自动推导所有分布参数的梯度和海森矩阵。它支持广泛的分布族，包括连续型、离散型以及混合离散-连续型分布，还支持更复杂的类型，如 Normalizing Flows 和 Mixture-Densities，以处理多峰分布。同时，它还支持 Zero-Inflated 和 Zero-Adjusted 分布，以处理零值过多的数据。

适用人群

需要超越点估计、在 LightGBM 生态系统中构建预测模型时需要概率预测和不确定性量化数据科学家和研究人员。

主要亮点

• 完整分布估计：估计所选分布的所有参数，以预测完整的条件分布。

• 核心 PyTorch 集成：使用 PyTorch 自动推导梯度和海森矩阵。

• 多样分布支持：支持 Normalizing Flows、Mixture-Densities 以及 Zero-Inflated/Adjusted 分布。

• 生态系统兼容性：与所有 LightGBM 功能和特性完全兼容。

• 集成工具：包含通过 Optuna 的自动超参数搜索和通过 SHAP 的模型解释功能。