본문/내용
1. 데이터 전처리 과정에서 자주 사용하는 기법과 그 이유를 설명하세요.
데이터 전처리 과정에서 자주 사용하는 기법은 결측치 처리, 이상치 제거, 정규화 및 표준화, 범주형 변수 인코딩, 데이터 정제와 변환입니다. 결측치는 분석 결과에 큰 영향을 미치기 때문에 평균 또는 중앙값 대체, 삭제 방법을 활용하여 데이터를 보완합니다. 이상치는 시각적 탐색(박스플롯)과 통계적 기법(Z-score, IQR)을 통해 감지 후 제거하거나 수정합니다. 정규화와 표준화는 모델의 수렴 속도를 높이고 성능을 향상시켜, 예를 들어 피처 스케일 조정을 통해 예측 정확도가 10% 이상 향상된 사례가 있습니다. 범주형 변수는 원-핫 인코딩 또는 라벨 인코딩으로 변환하여 모델이 수치 정보를 활용하게 하며, 이러한 과정은 데이터의 분포를 안정시키고 잡음을 줄여줍니다. 또한 파생 변수 생성과 불필요한 변수 제거를 통해 모델의 과적합을 방지하고 계산 비용을 낮추는 효과도 있습니다. 전체적으로 이러한 전처리 기법들은 데이터의 품질과 일관성을 확보하여, 머신러닝 성능을 평균 15% 이상 향상시키는 데 큰 역할을 합니다.
2. Pandas와 NumPy의 차이점과 각각의 활용 사례를 설…