본문/내용
1 빅데이터의 개념과 등장 배경
빅데이터는 말 그대로 `거대한 데이터`를 의미하지만, 단순히 양이 많다는 의미를 넘어서 구조적 비정형 데이터까지 포함하며 이를 분석할 수 있는 기술을 아우르는 개념이다. 기존의 데이터베이스 시스템으로는 감당할 수 없을 정도의 데이터가 쏟아지면서, 이를 실시간으로 수집처리분석하고 가치 있는 정보로 전환하는 것이 필요해졌다. 특히 사물인터넷의 확산, 모바일 기기의 보급, 소셜미디어 활동의 증가 등은 데이터의 양과 종류를 급격히 확대시키며 빅데이터 시대를 열었다.
빅데이터는 과거의 통계나 표본조사 중심의 방식에서 벗어나, 실시간 전수 데이터 기반의 분석을 가능하게 만들며 정확도와 실효성을 높였다. 이러한 기술은 4차 산업혁명의 기반 인프라로 자리 잡았고, 다양한 산업 영역에서 활용되고 있다.
2 빅데이터의 주요 특성과 기술적 기반
빅데이터는 일반적으로 3V 또는 5V로 그 특성이 설명된다.
첫째, Volume(규모)이다. 하루에도 수 페타바이트(PB) 이상의 데이터가 생성되며 이는 기존 시스템으로는 저장이나 분석이 어려운 수준이다.
둘째, Velocity(속도)이다. 데이터가 생성되는 속도가 빠르고 …