microsoft/hummingbird

解决的问题

Hummingbird 解决了传统机器学习模型（如决策树和随机森林）推理速度缓慢的问题，允许它们以张量运算的方式执行。这使得这些模型能够利用通常保留给深度学习框架的硬件加速（GPU）和优化技术，而无需用户重新设计原始模型。

运作原理

它通过将算法运算符重新配置为与向量化和 GPU 执行兼容的常规运算，将训练好的传统 ML 模型编译为张量运算。例如，它可以将决策树的遍历转换为一系列矩阵乘法（GEMM 策略），将模型的逻辑转换为 PyTorch 等框架可以高效处理的张量。

目标对象

专为使用 scikit-learn、LightGBM 或 XGBoost 等传统 ML 库，并希望使用 PyTorch、TorchScript、ONNX 或 TVM 等神经网络后端来加速模型推理的数据科学家和 ML 工程师所设计。

特色亮点

• 框架灵活性：将模型转换为 PyTorch、TorchScript、ONNX 和 TVM。
• 广泛的模型支持：兼容于 scikit-learn 的决策树和随机森林，以及 LightGBM 和 XGBoost 的分类器与回归器。
• 无缝集成：提供遵循 scikit-learn 模式的统一推理 API，允许用户在不更改推理代码的情况下替换模型。
• 硬件加速：通过目标张量框架为传统 ML 模型启用原生 GPU 加速。