soda-inria/tabicl

해결하는 문제

TabICL은 테이블 분류 및 회귀 작업에서 번거로운 하이퍼파라미터 튜닝의 필요성을 제거하도록 설계되었습니다. 수동 최적화 없이도 바로 사용할 수 있는 기존 그래디언트 부스팅 결정 트리(예: XGBoost 또는 CatBoost)에 대한 경쟁력 있고 고성능인 대안을 제공합니다.

작동 방식

Transformer 아키텍처를 기반으로 하는 테이블 파운데이션 모델입니다. 전통적인 훈련 대신 문맥 내 학습(ICL)을 사용하여, 모델이 훈련 데이터를 컨텍스트로 사용하여 단일 순방향 패스를 수행하고 테스트 데이터의 결과를 예측합니다. 일반적인 학습 능력을 얻기 위해 수백만 개의 합성 데이터셋으로 사전 훈련되었습니다. 반복되는 추론의 속도 향상을 위해 KV 캐싱을 사용하며, 매우 큰 데이터셋을 위해 CPU/디스크 오프로딩을 지원합니다.

대상 독자

시간이 많이 소요되는 하이퍼파라미터 튜닝 과정 없이도 높은 정확도를 원하는 테이블 데이터 작업 데이터 과학자 및 ML 엔지니어, 그리고 테이블 파운데이션 모델에 관심 있는 연구원.

주요 특징

• 제로샷 성능: TabArena 데이터셋의 약 80%에서 정교하게 튜닝된 XGBoost, CatBoost 또는 LightGBM보다 뛰어난 성능을 보입니다.
• 고속: 특정 벤치마크(예: H100 GPU에서 5만 개 샘플, 100개 피처)에서 TabPFN-2.5보다 최대 10배 빠릅니다.
• 확장성: 300~100,000개의 훈련 샘플 및 최대 2,000개의 피처를 가진 데이터셋을 처리하며, 오프로딩을 통해 더 큰 데이터셋도 지원합니다.
• C 호환: 기존 파이프라인에 쉽게 통합할 수 있는 Scikit-learn 호환 API를 제공합니다.
• 다용도성: 분류, 회귀 및 제로샷 시계열 예측을 지원합니다.
• 확장 가능성: 특정 데이터셋에 대한 미세 조정 도구와 전체 사전 훈련 레시피가 포함되어 있습니다.