[면접 합격자료] 하나금융티아이 Data Science AI 연구원 합격 문항 기출 최종합격

1. 데이터 전처리 과정에서 흔히 발생하는 문제들과 이를 해결하는 방법에 대해 설명하세요.

데이터 전처리 과정에서 흔히 발생하는 문제는 결측치, 이상치, 중복 데이터, 데이터 불균형, 스케일 차이 등입니다. 결측치는 분석 결과에 영향을 미치므로 평균값이나 중위수로 대체하거나, 삭제하는 방법이 있으며, 이상치는 박스플롯이나 z-score 등으로 검출 후 제거 또는 수정합니다. 중복 데이터는 데이터베이스 정제 과정에서 발생하므로, pandas의 drop_duplicates()를 활용하여 제거합니다. 데이터 불균형 문제는 SMOTE, 언더샘플링 기법으로 해결하며, 예를 들어, 고객 이탈 예측에서는 이탈 고객 비율이 5% 이하일 경우 조치가 필요합니다. 스케일 차이는 표준화(StandardScaler) 또는 정규화(MinMaxScaler)를 수행하여 해결하며, 실험 데이터에서 0. 01과 1000의 차이를 표준화하여 분석 정확도를 15% 향상시킨 사례가 있습니다. 이와 같이 전처리 단계는 데이터의 품질 향상과 모델 성능을 높이기 위해 중요하며, 검증 과정을 통해 지속적으로 수정이 필요합니다.

2. 머신러닝 모델의 과적합(overfitting)을 방지하는 방법에는 어떤 것들이 있나요

머신러…