본문/내용
1. 데이터 전처리 과정에서 흔히 사용하는 기법과 그 목적에 대해 설명하세요.
데이터 전처리 과정에서 흔히 사용하는 기법은 결측치 처리, 이상치 제거, 정규화 및 표준화, 데이터 인코딩, 스케일링, 데이터 분할 등이 있습니다. 결측치는 평균값, 중앙값, 최빈값으로 대체하거나 삭제하여 데이터의 신뢰성을 높입니다. 이상치는 IQR, Z-점수 기법으로 검출 후 제거하거나 조정하여 분석 결과에 미치는 영향을 최소화합니다. 정규화와 표준화는 데이터 특성에 따라 크기 차이를 줄여 학습 성능을 향상시키는데, 예를 들어 표준화를 적용하면 평균이 0, 표준편차가 1이 되어 모델의 수렴 속도가 빨라집니다. 범주형 변수는 원-핫 인코딩, 레이블 인코딩 등으로 변환하며, 예를 들어 고객 데이터를 이진형 변수로 변경하여 분석 시 일관성을 확보합니다. 데이터 분할은 학습데이터와 테스트데이터를 명확히 나누어 모델 훈련과 평가의 신뢰성을 높이고, 이를 통해 과적합 방지 및 일반화 성능 향상에 기여합니다. 이러한 기법들을 적절히 조합하여 데이터 품질을 높이면 분석 정확도를 20~30% 향상시킨 사례도 있습니다.
2. Pandas와 NumPy의 차이점과 각각의 사용 사례…