Data Preparation

1. 데이터 수집

데이터 수집은 데이터 분석 및 데이터 과학 프로젝트의 첫 단계로서 매우 중요한 과정이다. 효과적인 데이터 수집을 위해서는 분석 목표와 문제에 적합한 데이터를 선정하는 것이 우선이다. 예를 들어, 기업의 고객 만족도를 높이기 위해서는 고객 피드백, 설문조사 결과, 구매 기록 등 다양한 출처에서 데이터를 수집해야 한다. 특히 온라인 플랫폼에서는 웹 크롤링 기술을 활용하여 실시간으로 데이터를 수집하는 사례가 늘어나고 있는데, 2022년 기준 세일즈포스의 보고서에 따르면 전 세계 기업의 78%가 웹 크롤러를 이용한 데이터 수집을 본격화하였다. 데이터 수집 과정에서는 데이터의 신뢰성과 품질 확보도 매우 중요하다. 이때 데이터의 최신성, 일관성, 완전성 등을 검증한다. 예를 들어, 금융권에서는 거래 내역 데이터의 정확성이 금융 사고 예방에 큰 영향을 미침으로, 수집된 데이터의 검증 작업이 필수적이다. 또한, 데이터 수집 방법에는 수동 수집과 자동 수집이 있는데, 수작업은 시간이 오래 걸리고 오류 가능성이 높으며, 자동 수집은 대량 데이터를 빠르게 확보할 수 있지만 데이터의 구조와 포맷이 일관되도록 관리하는 것이 필요하…