[통계] EDA(탐색적자료분석)

1. EDA의 개념

탐색적 자료 분석(EDA)은 데이터 세트의 특성을 이해하기 위해 시각적이고 통계적인 방법을 사용하는 과정이다. 이는 데이터 분석의 초기 단계에 수행되어 숨겨져 있거나 명확하지 않은 패턴, 이상치, 변수 간의 관계를 발견하는 데 중요한 역할을 한다. EDA는 데이터를 어떻게 요약할지, 어떤 변수들이 중요한지, 그리고 데이터에 존재하는 문제점이 무엇인지 파악하는 데 도움을 준다. 예를 들어, 한 기업이 고객 연령대별 구매 패턴을 분석할 때, EDA를 통해 평균 연령이 35세 이내임을 파악하고, 특정 고객층이 자주 구매하는 상품이 무엇인지 시각적 도구인 히스토그램과 상자 그림으로 분석할 수 있다. 또한, 데이터의 분포 형태를 파악하는 것도 중요한데, 예를 들어 연속형 변수인 연봉 데이터가 오른쪽으로 긴 왜곡 분포를 보인다는 사실을 파악하면, 그에 따른 적절한 변환 방법을 찾는 데 활용된다. EDA는 단순한 기술적 절차가 아니라 데이터를 직관적으로 이해하는 데 필수적이며, 분석가와 의사결정자 모두가 데이터의 본질을 파악하는 데 중요한 역할을 한다. 구체적으로, 2020년 한국 통계청 자료에 따르면, EDA를 수행한 데이터 분석 프로…