본문/내용
1. 빅 데이터의 개념과 특징
빅 데이터는 전통적인 데이터 처리 방법으로는 다루기 어려운 방대한 양의 정형 및 비정형 데이터를 의미한다. 이는 개인의 일상적인 활동, 기업의 거래 기록, SNS 등 다양한 출처에서 생성되며, 하루에도 수 페타바이트 이상의 데이터를 쌓아 올리고 있다. 빅 데이터의 핵심 특징은 규모의 ‘볼륨’(Volume), 처리 속도 ‘속도’(Velocity), 그리고 데이터의 ‘다양성’(Variety)이다. 볼륨은 현재 전 세계에서 생성되는 데이터가 매년 2조 기가바이트를 넘어서는 수준이며, 2025년까지는 연간 데이터 양이 175제타바이트에 달할 것으로 전망된다. 이는 기존 데이터 처리 기술로는 감당하기 어려운 크기임을 보여준다. 속도는 실시간 또는 거의 실시간으로 데이터가 생성되고 분석이 이뤄져야 하는 요구를 의미하는데, 예를 들어 금융권에서는 초단위의 거래 데이터 분석을 통해 이상 거래 감지와 같은 빠른 의사결정을 수행한다. 다양성은 텍스트, 영상, 음성, 센서 데이터 등 매우 다양한 형식으로 데이터를 수집한다는 것을 의미하며, 이로 인해 데이터의 형태와 구조가 매우 복잡해지고 있다. 예를 들어 SNS에서는 수백만 페이지의 텍스트…