목차/차례
1. 데이터 전처리 과정에서 흔히 발생하는 문제점과 이를 해결하는 방법에 대해 설명하시오.
2. 머신러닝 모델의 성능 평가 지표에는 어떤 것들이 있으며, 각각의 특징과 사용 시기를 설명하시오.
3. 분류 문제와 회귀 문제의 차이점에 대해 설명하고, 각각의 예시를 들어보시오.
4. 과적합(overfitting)과 과소적합(underfitting)의 차이점과 이를 방지하기 위한 방법을 설명하시오.
5. 데이터 불균형 문제를 해결하기 위한 기법에는 어떤 것들이 있으며, 각각의 장단점을 설명하시오.
6. 주어진 데이터셋에서 특징(feature)을 선택하는 방법에는 어떤 것들이 있으며, 각각의 장단점을 설명하시오.
7. SQL을 이용하여 특정 조건에 맞는 데이터를 추출하는 쿼리문을 작성하시오.
8. 데이터 분석 과정에서 가설 검증을 위해 어떤 통계적 방법들을 사용할 수 있으며, 그 원리와 적합한 상황을 설명하시오.
본문/내용
1. 데이터 전처리 과정에서 흔히 발생하는 문제점과 이를 해결하는 방법에 대해 설명하시오.
데이터 전처리 과정에서 흔히 발생하는 문제점은 결측치, 이상치, 중복 데이터, 비일관성 데이터, 데이터 불균형 등이 있습니다. 결측치는 분석 결과를 왜곡시킬 수 있으므로 삭제하거나 평균·중앙값 대체, 예측 모델을 활용하여 보완하는 방법이 필요합니다. 이상치는 상자그림이나 z-score 기법을 통해 탐지 후 제거하거나 수정하며, 특히 이상치가 전체 데이터의 1~2%를 차지하는 경우 정확한 처리 없이는 모델 성능이 저하됩니다. 중복 데이터는 중복 제거를 통해 처리하며, 이는 데이터 용량을 줄이고 분석의 정확도를 높인답니다. 또한, 비일관성 데이터는 정규화 또는 표준화로 통일성을 확보해야 합니다. 데이터 불균형은 분류 문제에서 중요한 이슈로, 오버샘플링(SMOTE 등)이나 언더샘플링 기법을 활용하여 해결이 가능합니다. 최근 3개월간 유효한 데이터 분석 프로젝트에서 결측치 처리 후 모델 예측 성능이 평균 15% 향상된 사례가 있으며, 이상치 제거로 인해 모델의 F1 점수가 0. 78에서 0. 85로 개선된 경험이 있습니다. 이처럼 적절한 전처리 방법이 데이…