불균형 데이터 분류: 랜덤 포레스트 및 XGBoost 성능 분석

본 연구는 통신 분야의 고객 이탈 예측과 같은 불균형 데이터 분류 문제에서 Random Forest와 XGBoost 분류기의 성능을 SMOTE, ADASYN, GNUS 세 가지 업샘플링 기법과 결합하여 평가했습니다. 보통 수준(이탈률 15%)부터 극심한 수준(이탈률 1%)까지 다양한 불균형 레벨의 데이터셋을 활용하여 F1 점수, ROC AUC, PR AUC, MCC, Cohen’s Kappa 등의 지표로 성능을 종합적으로 분석했습니다. 연구 결과, 튜닝된 XGBoost와 SMOTE를 결합한 모델(Tuned_XGB_SMOTE)이 모든 불균형 레벨에서 가장 높은 F1 점수와 견고한 성능을 일관되게 보였습니다. 특히 SMOTE는 XGBoost와 함께 사용될 때 가장 효과적인 업샘플링 방법으로 나타났습니다. 반면 Random Forest는 심각한 불균형 조건에서 성능이 저조했습니다. ADASYN은 XGBoost와 함께 사용 시 중간 정도의 효과를 보였으나 Random Forest와는 성능이 좋지 않았고, GNUS는 일관성 없는 결과를 보였습니다. 데이터 불균형은 MCC, Kappa, F1 점수에 상당한 영향을 미쳤지만, ROC AUC와 PR AUC는 비교적 안정적이었습니다. 프리드먼 테스트와 네메니 사후 검정을 통한 통계 분석 결과, Tuned_XGB_SMOTE가 Tuned_RF_GNUS보다 F1 점수, PR-AUC, Kappa, MCC에서 통계적으로 유의미하게 우수한 성능을 보였습니다(p < 0.05). 이러한 결과는 불균형 분류 시나리오에서 모델 선택을 위한 신뢰할 수 있는 프레임워크를 제공합니다.