PriorLabs/TabPFN
⚡ TabPFN: Foundation Model for Tabular Data ⚡
해결하는 문제
TabPFN은 테이블 데이터 머신러닝을 위한 고성능 Transformer 기반 접근 방식을 제공합니다. 광범위한 데이터 전처리나 복잡한 하이퍼파라미터 튜닝 없이도 최소한의 설정으로 중소 규모의 분류 및 회귀 문제를 높은 정확도로 해결하도록 설계되었습니다.
작동 원리
TabPFN은 'Prior-Data Fitted Network'로, 방대한 양의 합성 테이블 데이터셋으로 학습된 파운데이션 모델입니다. 사전 학습 중에 테이블 데이터의 기본 패턴을 학습함으로써, 새로운 미지의 데이터셋에 대해 단일 순전파(forward pass)만으로 추론을 수행할 수 있습니다. 행 내 및 행 간 어텐션 메커니즘을 갖춘 Transformer 아키텍처를 사용하여 테이블 입력을 직접 처리하며, 데이터셋을 토큰 시퀀스로 효과적으로 처리합니다.
대상 사용자
최첨단 그래디언트 부스팅 방식과 경쟁할 수 있는 '플러그 앤 플레이' 모델을 원하는 테이블 데이터 과학자 및 연구자에게 이상적입니다. 특히 빠른 프로토타이핑이나 데이터 전처리(스케일링 또는 인코딩 등)가 바람직하지 않은 시나리오에서 매우 유용합니다.
주요 특징
- 제로 전처리: 원-핫 인코딩이나 특성 스케일링 없이 원시 데이터에서 직접 작동합니다.
- 빠른 추론: 빠른 예측을 위해 설계되었으며, 소규모 데이터셋에서는 기존 모델보다 뛰어난 성능을 보이는 경우가 많습니다.
- Transformer 아키텍처: 고급 어텐션 메커니즘을 사용하여 행과 특성 간의 복잡한 관계를 포착합니다.
- 유연한 생태계: 해석 가능성(SHAP), 이상치 탐지 및 임베딩 추출을 위한 확장 기능을 포함합니다.
- 하드웨어 최적화: PyTorch/CUDA 및 Apple Silicon을 통한 GPU 가속을 지원하며, CPU 사용을 위한 폴백 기능을 제공합니다.
관련
- 프로젝트
PriorLabs/tabpfn-time-seriesTabPFN-TS는 단변량 시계열 예측을 테이블 형식의 회귀 문제로 변환하고, 사전 학습된 TabPFN 기초 모델(기본값 TabPFN-3.5)을 사용하여 제로샷 점 예측 및 확률 예측을 수행하는 Python 라이브러리입니다. 알려진 미래 공변량을 지원하며, 로컬 CPU 또는 클라우드 클라이언트를 통해 빠르게 실행(GPU 불필요)되고 pip 설치만으로 사용할 수 있습니다. 제한 사항으로는 과거 동적 또는 정적 공변량의 부재와 다변량 타겟을 독립적인 계열로 처리하는 점이 있습니다.
- 프로젝트
LAMDA-Tabular/TALENTTALENT는 테이블 데이터 머신러닝을 위한 오픈소스 벤치마크 및 툴박스입니다. 30개 이상의 딥러닝 및 고전적 방법론(TabPFN‑3.5, LimiX, NVIDIA Kumo 등 최신 파운데이션 모델 포함)을 통합하고, 300개의 즉시 사용 가능한 데이터셋, 통합 전처리, 하이퍼파라미터 튜닝 및 평가(정확도, AUC, 보정) 기능을 제공합니다. pip로 설치하고 get_method("ft_transformer") 또는 다른 모델을 호출하여 단일 fit/predict 호출로 실행할 수 있습니다. 이 프로젝트는 BSD‑3‑Clause 라이선스로 배포되며, 일부 사전 학습된 가중치는 별도의 라이선스가 적용됩니다.
- 프로젝트
PriorLabs/tabpfn-extensionsTabPFN 테이블 ML 모델을 해석 가능성, 다중 클래스 처리, 이미지 열, 비지도 유틸리티, 임베딩, 베이지안 최적화 및 통계 검정으로 확장하는 실험적 애드온 라이브러리입니다. pip（Git 저장소를 가리키는）로 설치하고, 로컬 또는 클라우드 TabPFN 백엔드를 선택한 후, 번들 노트북 또는 확장별 README를 참조하세요.
- 프로젝트
NVIDIA/TransformerEngineNVIDIA Transformer Engine은 NVIDIA GPU에서 Transformer 모델 학습을 가속화하는 오픈소스 라이브러리입니다. PyTorch 및 JAX용으로 FP8, MXFP8, NVFP4, BF16, FP16의 융합 커널과 자동 혼합 정밀도 API를 제공합니다. 스케일링 계수 관리, 양자화 메타데이터, 분산 통신을 처리하여 코드를 변경하지 않고 저정밀도 학습을 가능하게 합니다. Hugging Face, Lightning, Megatron‑LM 등 주요 LLM 프레임워크와 통합되어 있으며, Hopper/Blackwell/Rubin 하드웨어에서 대규모 언어, 비전, MoE 모델을 대상으로 합니다.
- 프로젝트
PaddlePaddle/PaddleFormersPaddleFormers는 Hugging Face의 API를 미러링하면서 고성능 분산 훈련(텐서, 파이프라인, 전문가 병렬, FP8, FlashMLA 등)을 추가한 PaddlePaddle 기반 Transformers 라이브러리입니다. 100개 이상의 LLM/VLM 제품군(DeepSeek, GLM-4.5, Qwen, Llama, ERNIE-4.5, Gemma-3 등), 전체 훈련 파이프라인(사전 훈련, SFT/LoRA, DPO, 함수 호출, 추론), 그리고 중국산 GPU에 대한 네이티브 지원을 제공합니다. Docker 또는 pip로 설치한 후 익숙한 `AutoTokenizer`/`AutoModelForCausalLM` 클래스를 사용하여 추론하거나 `paddleformers-cli`를 사용하여 대규모 훈련을 수행할 수 있습니다.