본문/내용
1. Data Analytics 프로젝트에서 데이터를 수집하고 전처리하는 과정을 설명해보세요.
Data Analytics 프로젝트에서 데이터를 수집하는 과정은 다양한 출처에서 데이터를 확보하는 것이 중요합니다. 예를 들어, 고객 거래 데이터는 ERP 시스템에서 추출하며, 웹 로그 데이터는 서버 로그 파일에서 수집합니다. 데이터 수집 시 실시간 데이터 스트림을 활용하거나 배치 방식으로 진행하며, 수집 기간에 따라 수천만 건의 데이터도 누락없이 확보됩니다. 이후 데이터 전처리 단계에서는 결측값 처리, 이상치 제거, 중복 데이터 삭제, 변수 변환 등을 수행하는데, 결측값은 평균 또는 중앙값으로 대체하고, 이상치는 IQR 또는 표준편차를 활용해 제거합니다. 또한, 데이터 표준화와 정규화를 통해 분석 적합성을 높이며, 텍스트 데이터는 자연어 처리 기법으로 정제합니다. 이 과정에서 데이터 품질이 저하되지 않도록 검증 절차를 강화하며, 최적화된 전처리 과정은 분석 성과에 직결됩니다. 예를 들어, 고객 이탈 예측 프로젝트에서는 데이터 전처리 후 재무 지표와 고객 행동 데이터를 결합하여 모델 정확도를 85% 이상 향상시켰으며, 5TB 규모의 로그 데이터를 효율적으…