본문/내용
1. 데이터 전처리 과정에서 자주 사용하는 기법과 그 이유를 설명하시오.
데이터 전처리 과정에서 자주 사용하는 기법은 결측치 처리, 이상치 제거, 정규화 및 표준화, 범주형 변수 인코딩, 데이터 축소 및 샘플링입니다. 결측치는 전체 데이터의 10% 이상인 경우 평균 또는 중앙값으로 대체하며, 이로 인해 분석의 신뢰성을 높일 수 있습니다. 이상치는 박스 플롯을 통해 검출 후 IQR 방식을 적용하거나 Z-score가 3 이상인 데이터를 제거하여 모델의 성능 편향을 최소화합니다. 정규화와 표준화는 피처 값의 스케일이 달라서 모델 학습에 영향을 미치는 것을 방지하며, 특히 딥러닝이나 거리 기반 알고리즘에서 성능 향상에 크게 기여합니다. 범주형 변수는 원-핫 인코딩과 레이블 인코딩을 통해 수치적 특성을 부여하여 머신러닝 알고리즘이 처리 가능하도록 하며, 예를 들어 고객 데이터에서 지역(서울, 부산, 대구) 정보를 원-핫 인코딩해 3차원 벡터로 변환하여 모델의 예측 정확도를 15% 향상시킨 사례도 있습니다. 마지막으로, 데이터 축소 혹은 샘플링 기법을 통해 불필요한 데이터 양을 줄여 학습 속도를 높이고, 과적합을 방지하는 효과도 있습니다. 이러한 전…