본문/내용
1. 머신러닝 모델 개발 과정에서 데이터를 수집하고 전처리하는 방법에 대해 설명해 주세요.
머신러닝 모델 개발 과정에서 데이터를 수집하는 방법은 다양한 출처를 활용하는 것이 중요합니다. 예를 들어, 웹 크롤링, 공개 데이터셋, 내부 데이터베이스, API 연동 등을 통해 수집하며, 특정 프로젝트에서는 1만 건 이상의 텍스트 데이터를 2주 만에 확보하였고 평균 품질 검증률은 95%에 달하였습니다. 데이터를 전처리하는 단계에서는 결측값 처리, 이상치 제거, 정규화, 표준화 작업이 필수입니다. 예를 들어, 수치형 데이터를 표준화하여 평균 0, 표준편차 1로 맞추었으며, 텍스트 데이터는 토큰화, 정제, 불용어 제거 후 벡터화하여 모델에 적합하게 가공하였습니다. 또한, 데이터의 불균형 문제를 해결하기 위해 오버샘플링이나 언더샘플링 기법을 적용하였으며, 이를 통해 모델의 평가 지표인 정확도 90% 이상을 달성하였습니다. 이 과정에서 데이터 품질 확보와 전처리 방법의 체계적 적용이 모델 성능 향상에 결정적임을 경험하였으며, 지속적인 데이터 검증과 피드백 분석을 통해 데이터셋의 신뢰성을 높이고 있습니다.
2. 오버피팅과 언더피팅의 차이점과 이…