본문/내용
1. 데이터 분석 프로젝트에서 가장 어려웠던 문제와 해결 방안에 대해 설명해주세요.
가장 어려웠던 문제는 데이터 품질 저하와 불균형했던 데이터셋을 처리하는 것이었습니다. 고객 이탈 예측 프로젝트에서 원시 데이터의 결측치가 30% 이상 존재했고, 이상치가 전체 데이터의 15% 이상 차지하여 분석의 신뢰도가 떨어졌습니다. 이를 해결하기 위해 먼저 결측치를 평균/중앙값 대체와 함께 특정 변수별로 도메인 지식을 활용하여 보완하였으며, 이상치는 IQR 방식을 적용하여 제거하거나 조정하였습니다. 또한 데이터 불균형 문제로 인해 SMOTE 알고리즘을 활용하여 가상 데이터를 생성했고, 이를 통해 모델의 정밀도와 재현율이 각각 5% 이상 개선되는 성과를 얻었습니다. 이 과정에서 Python의 pandas, scikit-learn, imbalanced-learn 라이브러리를 적극 활용하였으며, 모델 성능 평가지표인 ROC-AUC는 0. 78에서 0. 85로 향상시켰습니다. 변화된 데이터셋으로 XGBoost와 LightGBM을 비교 평가하였고, 최적의 조합을 선정하여 결과를 도출하였습니다. 이러한 체계적 데이터 정제와 샘플링 방법 도입이 프로젝트 성공의 핵심입니다.
2. 어떤 데이터 전처리 기법을 …