본문/내용
1. 데이터 분석 프로젝트에서 가장 어려웠던 문제와 해결 방법을 설명해주세요.
가장 어려웠던 문제는 대규모 데이터를 분석하는 과정에서 데이터 정제와 전처리였으며, 특히 결측치 처리와 이상치 제거가 큰 난제였습니다. 분석 대상 데이터가 1백만 건 이상이었으며, 결측치 비율이 전체의 15% 이상이었고, 이상치는 5% 정도 존재했습니다. 이를 해결하기 위해 먼저 결측치는 k-NN 알고리즘과 평균값 대체법을 병행 사용하여 채우는 방식을 선택했고, 이상치는 IQR(사분범위)을 활용하여 범위를 벗어난 데이터를 제거하거나 수정하였습니다. 데이터 전처리 과정을 통해 정확도를 높이기 위해 전체 데이터의 80%를 학습 데이터로, 20%를 검증 데이터로 나누어 다양한 모델을 비교 분석하였습니다. 그 결과, 전처리 과정에서의 신중한 작업으로 예측 모델의 정확도가 기존 65%에서 80%까지 향상되었으며, 이를 통해 신뢰성 높은 인사이트를 도출할 수 있었습니다. 이러한 과정을 통해 데이터 품질 향상과 모델 성능 개선에 성공하였으며, 프로젝트의 핵심 성과를 이뤘습니다.
2. 통계적 가설 검정을 사용할 때 주의해야 할 점은 무엇이라고 생각하나요
통계적 가설…