빅데이터 기초 모델링 사례, 탐색적 데이터 분석 (EDA) 파일럿

1. 데이터 수집

데이터 수집은 빅데이터 기초 모델링에서 가장 중요한 첫 단계이다. 이 단계에서 수집한 데이터의 품질과 특성은 후속 분석 과정에 큰 영향을 미친다. 데이터 수집은 신뢰할 수 있는 출처에서 데이터를 확보하고, 필요한 데이터의 유형과 형식을 이해하는 과정을 포함한다. 데이터의 출처는 다양하며, 각기 다른 데이터 수집 방법론이 적용된다. 예를 들어, 공개된 데이터베이스, 웹 스크래핑, 설문조사, 센서 데이터, 기업의 내부 데이터 시스템 등 여러 방면에서 데이터를 수집할 수 있다. 첫 번째로, 공개 데이터베이스는 외부에서 제공되는 다양한 자료를 포함한다. 정부 기관, 연구 단체, 또는 특정 업계의 웹사이트에서 다운로드 가능한 데이터셋이 많다. 이러한 데이터는 데이터 과학자가 지속적으로 사용할 수 있는 유용한 자료를 제공하며, 일반적으로 표준화된 형식으로 제공되기 때문에 데이터의 가공이나 변환 과정이 비교적 용이하다. 하지만 공개 데이터에는 개인 정보나 특정 기업의 민감한 정보가 포함되지 않도록 신중하게 처리된 자료만을 포함해야 한다. 두 번째 방법은 웹 스크래핑이다. 이 방법은 웹사이트의 HTML 구조를 분석하고, …