빅데이터 기초 모델링 2장 - 테이블 분석 컬럼 스크리닝

1. 지난 과제 체크

지난 과제 체크는 빅데이터 기초 모델링의 중요한 첫 단계이다. 이 단계에서는 이전에 수행했던 과제를 되돌아보면서 분석의 방향성과 방법론을 점검한다. 주어진 데이터에 대한 이해도가 높아지기 때문에 이후의 모델링 작업에 큰 도움이 된다. 이전 과제에서 어떤 데이터가 사용되었고, 그 데이터의 특성이 무엇이었는지를 분석한다. 각 컬럼의 데이터 유형, 결측치의 존재, 이상치의 유무, 데이터 분포 등을 세심하게 살펴보는 과정이 필요하다. 먼저, 데이터의 기초 통계치를 확인하는 것이 중요하다. 평균, 중앙값, 최솟값, 최댓값 및 표준편차와 같은 통계치를 통해 데이터의 전체적인 분포와 경향성을 파악할 수 있다. 이러한 기초 통계는 이상치나 오류를 발견하는 데에도 큰 도움이 된다. 예를 들어, 특정 컬럼의 최소값이 비정상적으로 크거나 최대값이 지나치게 작은 경우, 이는 잘못된 데이터 입력의 결과일 가능성이 높다. 다음으로, 각 테이블의 컬럼 간 상관관계를 분석한다. 상관관계 분석을 통해 어떤 변수들이 서로 연관되어 있는지, 그리고 어떤 변수들이 독립적인지를 파악할 수 있다. 이는 특정 변수가 다른 변수에 미치는 영향을 …