특허유니버시아드 대회 참가 보고서(선행기술조사부문- 빅데이터)

1. 빅 데이터 선행기술 분류

빅 데이터는 대량의 데이터 집합을 의미하며, 이를 활용하기 위한 다양한 기술과 방법론이 발전해왔다. 이를 선행기술로 분류하면 여러 가지 기준에 따라 나눌 수 있다. 첫째, 데이터 수집 기술이 있다. 이는 웹 크롤링, IoT 장치로부터의 데이터 수집, 사용자 로그 데이터 분석 등을 포함한다. 다양한 소스에서 실시간으로 데이터를 수집하는 능력은 빅 데이터의 핵심 요소이다. 둘째, 데이터 저장 기술이 있다. 대량의 데이터를 효과적으로 저장하기 위해 NoSQL 데이터베이스, 분산 파일 시스템, 클라우드 스토리지 솔루션 등이 사용된다. 이러한 기술들은 수많은 데이터가 만들어내는 복잡성을 관리하는 데 필수적이다. 셋째, 데이터 처리 기술이 있다. 빅 데이터 환경에서는 전통적인 RDBMS로는 처리하기 어려운 데이터 양과 속도를 다루어야 한다. 따라서 Hadoop, Spark와 같은 분산 처리 프레임워크가 널리 활용되고 있다. 이들 기술은 데이터를 빠르게 처리하고 분석할 수 있는 환경을 제공한다. 넷째, 데이터 분석 기술이다. 데이터에서 유의미한 인사이트를 도출하기 위해 기계 학습, 딥 러닝, 통계 분석 등의 기법이 사용된다. 이러…