본문/내용
1. 데이터 전처리 과정에서 흔히 발생하는 문제점과 이를 해결하는 방법에 대해 설명하시오.
데이터 전처리 과정에서 흔히 발생하는 문제점은 결측치, 이상치, 중복 데이터, 비일관성 데이터, 데이터 불균형 등이 있습니다. 결측치는 분석 결과를 왜곡시킬 수 있으므로 삭제하거나 평균·중앙값 대체, 예측 모델을 활용하여 보완하는 방법이 필요합니다. 이상치는 상자그림이나 z-score 기법을 통해 탐지 후 제거하거나 수정하며, 특히 이상치가 전체 데이터의 1~2%를 차지하는 경우 정확한 처리 없이는 모델 성능이 저하됩니다. 중복 데이터는 중복 제거를 통해 처리하며, 이는 데이터 용량을 줄이고 분석의 정확도를 높인답니다. 또한, 비일관성 데이터는 정규화 또는 표준화로 통일성을 확보해야 합니다. 데이터 불균형은 분류 문제에서 중요한 이슈로, 오버샘플링(SMOTE 등)이나 언더샘플링 기법을 활용하여 해결이 가능합니다. 최근 3개월간 유효한 데이터 분석 프로젝트에서 결측치 처리 후 모델 예측 성능이 평균 15% 향상된 사례가 있으며, 이상치 제거로 인해 모델의 F1 점수가 0. 78에서 0. 85로 개선된 경험이 있습니다. 이처럼 적절한 전처리 방법이 데이…