pyg-team/pytorch-frame

해결하는 문제

PyTorch Frame는 텍스트, 이미지, 수치값 등 다양한 열 유형을 포함하는 이질적인 표 형식 데이터를 위한 모듈식 딥러닝 프레임워크를 제공합니다. 전통적인 트리 기반 모델(GBDT 등)의 한계를 극복하여 하류 모델과의 더 나은 통합을 가능하게 하며, 수치형 및 범주형 데이터와 함께 텍스트, 이미지, 타임스탬프와 같은 복잡한 열 유형을 처리할 수 있습니다.

작동 방식

이 라이브러리는 세 가지 주요 구성 요소로 구성된 모듈식 아키텍처를 사용합니다:

1. Materialization: 원시 pandas DataFrame을 PyTorch 학습에 적합한 TensorFrame 형식으로 변환합니다.
2. FeatureEncoder: 다양한 열 유형을 일관된 크기의 은닉 임베딩으로 인코딩합니다.
3. TableConv: 이러한 열 임베딩 간의 상호작용을 모델링합니다.
4. Decoder: 임베딩을 풀링하여 각 행에 대한 최종 예측 또는 임베딩을 생성합니다.

LLM 임베딩 API(OpenAI, Cohere, Voyage AI 등) 및 Hugging Face transformers를 사용하여 텍스트 데이터를 인코딩하는 것도 지원합니다.

대상 사용자

딥러닝 연구자 및 실무자에게 적합하며, 표 형식 딥러닝 모델을 실험하거나 표준화되고 모듈식 접근 방식을 통해 GBDT와 성능을 비교하고자 하는 분들에게 적합합니다.

주요 특징

• 다양한 열 유형 지원: 수치형, 범주형, 다중 범주형, 텍스트(임베딩 또는 토큰화된), 타임스탬프, 이미지 지원.
• 사전 구현 모델: Trompt, FTTransformer, TabNet, ExcelFormer, TabTransformer 등의 최신 기술 모델 포함.
• PyTorch 생태계 통합: PyG(관계형 데이터베이스 학습용) 등 다른 PyTorch 라이브러리와 원활하게 연동.
• 벤치마크 데이터셋: 딥러닝 모델과 GBDT를 비교할 수 있는 즉시 사용 가능한 표 형식 데이터셋 및 벤치마크 도구 모음 제공.