[면접 합격자료] 라인페이플러스 Data Scientist 합격 문항 기출 최종합격

1. 데이터 전처리 과정에서 흔히 발생하는 문제와 그 해결 방법에 대해 설명하세요.

데이터 전처리 과정에서 자주 발생하는 문제는 결측치, 이상치, 중복 데이터, 데이터 불균형, 형식 불일치입니다. 결측치는 전체 데이터의 20% 이상일 경우 삭제 또는 대체가 필요하며, 평균값 또는 최빈값으로 보완하는 방법도 있습니다. 이상치는 박스플롯이나 Z-스코어를 활용해 검출하며, 제거하거나 변환하는 방식으로 처리합니다. 중복 데이터는 분석 결과를 왜곡하므로 전체 데이터의 약 5% 이상 중복된 항목을 삭제해야 합니다. 데이터 불균형은 특정 클래스의 데이터가 월등히 적거나 많은 경우인데, 오버샘플링 또는 언더샘플링 기법을 적용하여 해결합니다. 형식 불일치는 날짜, 숫자, 텍스트 등 데이터 타입이 일치하지 않는 경우가 많아 파이썬의 pandas 데이터 타입 변환 함수로 정제합니다. 구체적으로 결측치 비율이 30% 이상인 변수는 제거하거나, 이상치로 판단된 값이 전체 dataset의 0. 5%를 차지할 경우 분석에 미치는 영향을 고려하여 보완 또는 제거하는 것이 중요하며, 데이터 일관성 확보를 위해 표준화를 수행한 결과, 모델의 정확도가 평균 15% 향상된 사례…