본문/내용
1. 데이터 분석 프로젝트를 수행할 때 어떤 데이터 전처리 과정을 거치나요 구체적인 예를 들어 설명해 주세요.
데이터 분석 프로젝트 시 가장 먼저 결측치와 이상치를 검토하여 데이터의 품질을 확보합니다. 예를 들어, 고객 구매 데이터에서 결측치는 평균값 또는 중앙값으로 대체하거나, 비정상적인 값은 도메인 지식을 활용해 제거하거나 수정합니다. 또한, 데이터 내 범주형 변수는 원-핫 인코딩 또는 라벨 인코딩을 해주며, 수치형 변수는 정규화 또는 표준화를 수행합니다. 예를 들어, 고객 연령 데이터의 분포가 20~70세 범위에 집중되어 있어, 표준화를 통해 평균이 0, 표준편차가 1이 되도록 조정합니다. 이후, 변수 간 상관관계 분석을 통해 다중공선성을 확인하여 필요 시 차원 축소 기법인 PCA를 적용하며, 이에 따라 모델 성능 향상과 해석력을 높입니다. 이러한 과정을 통해 노이즈를 제거하고, 분포를 균일하게 만들어 분석 정확도를 높이게 됩니다. 또한, 데이터 분포가 심하게 치우친 경우에는 로그 변환, 제곱근 변환 등을 적용하여 모델의 편향을 방지합니다. 이렇게 세심한 전처리를 거쳐 최적의 모델 성능과 신뢰도를 확보합니다.
2. SQL과 Pyth…