빅데이터 기초 모델링 6장 - 데이터 모델링 실행

1. 지난 과제 체크

지난 과제 체크는 빅데이터 기초 모델링 과정에서 중요한 단계를 차지한다. 이전 과제를 통해 학습한 내용을 정리하고 복습하는 것은 모델링 과정에서의 이해도를 높이는 데 큰 도움이 된다. 지난 과제에서는 주로 데이터 수집, 전처리, 탐색적 데이터 분석(EDA), 그리고 데이터 모델링의 기초 개념에 대해 다뤘다. 이 과정에서 각각의 단계에서 무엇을 배웠고, 그 의미가 무엇인지 되짚어 보는 과정이 필수적이다. 첫째, 데이터 수집 과정에서 다양한 데이터 소스로부터 정보를 추출하는 방법에 대해 학습했다. 웹 스크래핑, API 호출, 데이터베이스 쿼리 등 여러 기법을 통해 실제 자료를 수집하는 경험을 했다. 이때 데이터의 출처와 신뢰성을 평가하는 것이 얼마나 중요한지 깨달았다. 특히, 대량의 데이터를 다루게 될 때는 데이터의 품질이 모델의 결과에 직접적인 영향을 미친다는 점이 기억에 남는다. 따라서, 과거의 과제에서 수집한 데이터의 출처를 명확히 하고, 해당 데이터가 분석에 적합한지 검토할 필요가 있다. 둘째, 전처리 단계에서 데이터를 정리하는 과정의 중요성을 깨달았다. 결측치 처리, 중복 데이터 제거, 이상치 탐지 등 다양…