빅데이터 기초 모델링 3장 - 데이터 모델링 차원 축소

1. 지난 과제 체크

지난 과제 체크에서는 이전에 수행한 빅데이터 기초 모델링 과제의 내용을 되짚어보는 과정이 중요하다. 과제의 주제와 목표를 다시 한번 명확히 하며, 수행한 작업의 유의미한 점과 아쉬운 점을 파악하는 것이 필요하다. 먼저, 이전 과제에서는 데이터 수집부터 시작해 전처리, 탐색적 데이터 분석, 그리고 간단한 모델링까지의 과정을 경험했다. 이 과정에서 다양한 데이터 소스에서 정보를 수집하고, 결측치 처리, 이상치 감지, 그리고 변수 변환 등 전처리 단계에서 많은 시간과 노력을 투자했다. 이러한 전처리 과정은 데이터의 품질을 높이고, 이후 분석 결과의 신뢰성을 확보하는 데 중요한 역할을 했다. 이어 탐색적 데이터 분석을 통해 데이터의 분포, 상관관계 등을 시각적으로 분석하는 시간을 가졌다. 이 과정에서는 시각화 도구를 활용해 데이터의 구조와 패턴을 파악하는 데 집중했다. 이를 통해 중요한 패턴이나 인사이트를 찾아내고, 어떤 변수가 예측 모델에 가장 큰 영향을 미칠 것인지에 대한 감을 잡았다. 특정 변수 간의 관계를 이해하고, 이를 바탕으로 모델링 과정에서 어떤 변수를 선택해야 할지 결정하는 데 큰 도움이 되었다.…