PriorLabs/TabPFN
⚡ TabPFN: Foundation Model for Tabular Data ⚡
解决的问题
TabPFN 提供了一种高性能、基于 Transformer 的表格机器学习方法。它旨在以高精度和最少的设置解决中小型分类和回归问题，无需进行大量的数据预处理或复杂的超参数调整。
工作原理
TabPFN 是一种“先验数据拟合网络”（Prior-Data Fitted Network），这是一种在海量合成表格数据集上训练的基础模型。通过在预训练期间学习表格数据的底层模式，它可以在单次前向传播中对新的、未见过的数据集进行推理。它使用具有行内和跨行注意力机制的 Transformer 架构来直接处理表格输入，有效地将数据集视为标记序列。
适用人群
它非常适合处理表格数据的科学家和研究人员，他们需要一种能够与最先进的梯度提升方法竞争的“即插即用”模型。它对于快速原型设计以及不希望进行数据预处理（如缩放或编码）的场景特别有用。
亮点
- 零预处理：直接处理原始数据，无需独热编码或特征缩放。
- 快速推理：专为快速预测而设计，在较小的数据集上通常优于传统模型。
- Transformer 架构：使用先进的注意力机制来捕获行与特征之间的复杂关系。
- 灵活的生态系统：包括用于可解释性 (SHAP)、异常值检测和嵌入提取的扩展。
- 硬件优化：支持通过 PyTorch/CUDA 和 Apple Silicon 进行 GPU 加速，并提供 CPU 使用的回退方案。
相关
- 项目
PriorLabs/tabpfn-time-seriesTabPFN-TS 是一个 Python 库，它将单变量时间序列预测转化为表格回归问题，并使用预训练的 TabPFN 基础模型（默认为 TabPFN-3.5）来产生零样本点预测与概率预测。它支持已知未来协变量，可通过本地 CPU 或云端客户端快速运行（无需 GPU），且仅需 pip 安装。其局限性包括缺乏过去动态或静态协变量，以及将多变量目标视为独立序列处理。
- 项目
LAMDA-Tabular/TALENTTALENT 是一个用于表格机器学习的开源基准测试与工具箱。它整合了超过 30 种深度学习与传统方法（包括 TabPFN‑3.5、LimiX、NVIDIA Kumo 等最新基础模型），提供 300 个即用型数据集，以及统一的预处理、超参数调优与评估（准确率、AUC、校准）功能。通过 pip 安装，调用 get_method("ft_transformer") 或任何其他模型，即可通过单一 fit/predict 调用执行。该项目采用 BSD‑3‑Clause 授权，部分预训练权重另有独立授权。
- 项目
PriorLabs/tabpfn-extensions一个实验性的附加库，扩展了 TabPFN 表格机器学习模型，提供可解释性、多类别处理、图像列、无监督工具、嵌入、贝叶斯优化和统计检验。通过 pip 安装（指向 Git 仓库），选择本地或云端 TabPFN 后端，并使用随附的笔记本或各扩展的 README 作为指南。
- 项目
NVIDIA/TransformerEngineNVIDIA Transformer Engine 是一个开源库，通过为 PyTorch 和 JAX 提供融合内核和自动混合精度 API（FP8、MXFP8、NVFP4、BF16、FP16），加速在 NVIDIA GPU 上的 Transformer 模型训练。它处理缩放因子管理、量化元数据和分布式通信，使用户无需更改代码即可采用低精度训练。与 Hugging Face、Lightning、Megatron‑LM 等主要 LLM 框架集成，适用于 Hopper/Blackwell/Rubin 硬件上的大规模语言、视觉和 MoE 模型。
- 项目
PaddlePaddle/PaddleFormersPaddleFormers 是一个基于 PaddlePaddle 的 Transformers 库，镜像 Hugging Face 的 API，同时加入高性能分布式训练（张量、流水线、专家并行、FP8、FlashMLA 等）。它支持 100+ 个 LLM/VLM 系列（DeepSeek、GLM-4.5、Qwen、Llama、ERNIE-4.5、Gemma-3 等）、完整的训练流程（预训练、SFT/LoRA、DPO、函数调用、推理），以及对国产 GPU 的原生支持。可通过 Docker 或 pip 安装，然后使用熟悉的 `AutoTokenizer`/`AutoModelForCausalLM` 类进行推理，或使用 `paddleformers-cli` 进行大规模训练。