빅데이터로 일하는 기술＋제4차산업혁명

1. 빅데이터 개념 및 특징

빅데이터는 일정한 용량 이상이며, 전통적인 데이터 처리 방식으로는 분석이 어려운 방대한 규모의 데이터를 의미한다. 일반적으로 4V로 특징지어진다. 먼저 Volume(규모)은 매년 급증하는 데이터를 반영한다. 시장조사 기관 IDC는 2025년까지 전세계 데이터 양이 약 175제타바이트(1제타바이트는 10의21승 바이트)로 증가할 것이라 예상한다. 이러한 방대한 데이터는 기업이나 기관이 시장 분석, 고객 행동 예측, 제품 개발 등에 활용할 수 있도록 한다. 둘째로 Velocity(속도)는 데이터가 생성되고 처리되는 속도를 의미한다. 예를 들어, 소셜 미디어 플랫폼인 트위터는 초당 수백만 건의 트윗 정보를 생성하며, 이 데이터를 실시간으로 분석하는 기술이 필수적이다. 셋째로 Variety(다양성)는 데이터 형식과 출처가 매우 다양하다는 점을 나타낸다. 텍스트, 영상, 이미지, 센서 데이터 등 다양한 형식을 포함하며, 이는 데이터 분석의 복잡성을 높인다. 넷째로 Veracity(진실성)는 데이터의 신뢰성과 품질을 의미하는데, 데이터의 출처와 정합성 확보가 중요하다. 예를 들어, 금융권에서는 고객 신용도 평가 시 방대한 거래 데이터를 분석하지…