mindsdb/lightwood

解决的问题

Lightwood 是一个 AutoML 框架，旨在减少与机器学习 (ML) 生命周期相关的重复性样板代码。它允许用户专注于其数据和模型的独特之处，而不是手动设置数据准备和构建管道。

工作原理

Lightwood 使用称为“JSON-AI”的声明式语法来定义 ML 管道。它将流程抽象为三个核心阶段：

1. 预处理和清理：框架会分析数据集以识别数据类型（数值、类别等），并自动生成清理和分割策略。
2. 特征工程：它使用“编码器”将预处理后的数据转换为数值表示。这些编码器可以是基于规则的（遵循特定指令）或学习来的（训练过的表示）。
3. 模型构建和训练：“混合器”模型接收编码后的特征并产生预测。虽然它主要使用 PyTorch，但它也支持其他模型架构。

用户可以接受相同的默认行为，或者覆盖 JSON-AI 语法中的特定步骤来自定义其管道，Lightwood 随后将其转换为可执行的 Python 代码。

适用人群

它是为希望普及机器学习的开发者和用户构建的，使他们能够在无需成为专家级数据科学家的情况下构建预测模型。

亮点

• 声明式管道：使用 JSON-AI 定义和自定义 ML 管道，无需编写样板代码。
• 多模态数据支持：适用于数字、日期、类别、标签、文本、数组和各种多媒体格式。
• 时间序列支持：包含一个专用模式，用于处理具有行间依赖关系的问题。
• 可扩展架构：支持“自带模型”(BYOM)，允许用户引入自定义清理器、分割器和混合器。