StatMixedML/XGBoostLSS

해결하는 문제

표준 회귀 모델은 일반적으로 단일 점 추정값(평균 또는 중앙값)을 예측합니다. XGBoostLSS는 XGBoost를 확장하여 확률적 모델링을 수행할 수 있게 하여, 타겟 변수의 전체 조건부 분포를 예측할 수 있도록 합니다. 이를 통해 단순한 단일 추정치가 아닌 예측 구간과 특정 분위수를 도출할 수 있는 확률적 예측을 가능하게 합니다.

작동 방식

타겟 변수의 모든 분포 매개변수를 공변량에 대한 함수로 모델링하는 프레임워크를 제공합니다. 이는 이러한 매개변수에 대한 기울기와 헤시안을 자동으로 도출하기 위해 PyTorch를 활용하며, 연속형, 이산형, 그리고 혼합 이산-연속형 분포를 포함한 다양한 분포 유형을 지원합니다. 더 복잡한 데이터의 경우, 다중 모달 분포를 위한 Normalizing Flows와 Mixture-Densities를 통합합니다.

대상 사용자

점 추정치를 넘어서 불확실성 정량화 또는 복잡하고 비표준적인 데이터 분포(예: 제로가 과도한 데이터)를 그래디언트 부스팅의 힘을 활용해 모델링이 필요한 데이터 과학자 및 연구자들입니다.

주요 기능

• 전체 분포 추정: 선택한 확률 분포의 모든 매개변수를 예측합니다.
• 다양한 분포 지원: 과도한 0값을 가진 데이터를 위한 제로 조정 및 제로 과잉 분포를 포함합니다.
• 고급 모델링: 복잡한 분포를 위한 Normalizing Flows와 Mixture-Densities를 지원합니다.
• 다중 타겟 회귀: 다변량 응답과 그 종속성을 모델링할 수 있습니다.
• 도구 통합: 자동 하이퍼파라미터 탐색을 위한 Optuna 및 모델 해석을 위한 SHAP과 통합됩니다.