[면접 합격자료] 엔코아 빅데이터 엔지니어 합격 문항 기출 최종합격

1. 빅데이터 처리에 사용되는 주요 기술들과 그 특징을 설명해 주세요.

빅데이터 처리에 사용되는 주요 기술들은 분산처리 프레임워크, 저장소, 데이터 검색 및 분석 기술이 있습니다. Hadoop은 대표적인 분산처리 프레임워크로, 맵리듀스 방식을 활용하여 수페타바이트급 데이터도 병렬 처리할 수 있습니다. 예를 들어, 대기업의 고객 행동 분석 시 수백 테라바이트의 로그 데이터를 하루 만에 처리하여 마케팅 전략에 활용한 사례가 있습니다. Spark는 인메모리 컴퓨팅 기술로, 기존 맵리듀스보다 10배 이상 빠른 데이터 처리 속도를 자랑하며 실시간 데이터 분석이 가능하여 금융권의 거래 이상감지에 널리 활용됩니다. 저장소 기술로는 HDFS와 NoSQL 데이터베이스가 있으며, HDFS는 데이터 무제한 확장성과 내결함성을 제공하여 대용량 데이터 저장에 적합하고, NoSQL은 구조화되지 않은 데이터에 대해 높은 읽기/쓰기 성능을 발휘하여 소셜미디어 데이터 저장에 사용됩니다. 데이터 검색과 분석엔 Hive, Pig, Presto 등이 있으며, Hive는 SQL 유사 인터페이스로 비전문가도 쉽게 데이터 분석이 가능하게 하였고, 통계 분석으로 고객 세분화와 예측 모델 개발에 활용…