본문/내용
1. 머신러닝 모델을 개발할 때 데이터 전처리 과정에서 고려해야 하는 주요 항목들은 무엇인가요
머신러닝 모델 개발 시 데이터 전처리 과정은 모델 성능에 직결되며 치명적 영향을 미칩니다. 먼저 결측치 처리로 빈값들이 예측에 방해되지 않도록 평균, 중앙값 또는 최빈값으로 대체하거나 삭제합니다. 이후 이상치 검출 단계에서는 박스플롯이나 Z-스코어를 활용하여 전체 데이터의 1~3% 미만에 해당하는 이상치를 제거하거나 조정합니다. 데이터 정규화 또는 표준화는 특성값이 서로 다른 범위일 경우 모델 수렴 속도를 높이고 과적합 방지를 위해 필수적입니다. 예를 들어, 타겟 변수와 특성값의 분포를 파악하여 Min-Max 스케일링 또는 표준 정규분포 변환을 수행합니다. 또, 분산이 낮거나 높은 특징은 중요도가 낮거나 모델 성능 저하를 유발하므로 차원 축소나 feature selection을 통해 불필요한 정보를 제거합니다. 텍스트 데이터의 경우 토큰화, 불용어 제거 및 벡터화 작업도 필요하며, 이미지 데이터는 크기 통일화와 정규화가 중요합니다. 이를 통해 데이터의 품질을 높이고 모델의 예측 정밀도를 15~25% 향상시킬 수 있습니다. 따라서 체계적인 데이터 전…