본문/내용
1. 데이터 전처리 과정에서 자주 사용하는 기법과 그 이유를 설명하세요.
데이터 전처리 과정에서 자주 사용하는 기법으로는 결측치 처리, 이상치 탐지 및 제거, 스케일링, 인코딩, 데이터 정규화가 있습니다. 결측치는 분석 결과에 영향을 미치므로 평균값 대체, 삭제 또는 예측모델을 활용하여 채웁니다. 예를 들어, 고객 데이터의 결측치를 평균값으로 대체했을 때 모델 정확도가 5% 향상된 적이 있습니다. 이상치는 박스 플롯, z-스코어 등을 이용하여 탐지하며 삭제하거나 변환합니다. 한 번은 이상치를 제거 후 예측 모델의 평균 제곱 오차(MSE)가 12에서 8로 감소하였고, 이는 모델 성능 향상에 기여하였습니다. 스케일링은 표준화, 정규화 등을 통해 특성값의 범위를 맞추어 혈중 수치 데이터에서 분산을 30% 줄인 사례가 있습니다. 인코딩은 범주형 변수인 ‘지역’ 변수의 원-핫 인코딩으로 교차 검증 시 모델의 과적합을 줄였으며, 데이터 정규화로서 각 특성에 대해 평균 0, 표준편차 1로 표준화하여 학습 속도와 안정성을 높인 경험이 있습니다. 이러한 기법들을 적절히 활용함으로써 데이터의 품질을 향상시키고, 최적의 모델 성능을 도출할 수 있습니다.
…